In den letzten Jahren haben sich Large Language Models, insbesondere „ChatGPT“ zu leistungsstarken Werkzeugen entwickelt. Das revolutioniert unser Verständnis von künstlicher Intelligenz. Sie haben jedoch auch eine dunkle Seite: Kriminelle nutzen diese Modelle zunehmend für betrügerische Kommunikation und raffinierte Phishing-Angriffe.
Der Inhalt im Überblick
Rasante Entwicklung in den letzten Jahren
Wie man in den letzten Jahren bemerkt hat, haben sich Large Language Models (LLM), insbesondere ChatGPT, zu leistungsstarken Werkzeugen entwickelt. Unser Verständnis von künstlicher Intelligenz hat sich dadurch stark ausgeweitet. Das Ganze bringt aber auch eine dunkle Seite mit sich: Zunehmend werden diese Werkzeuge von Kriminellen genutzt, um ihre betrügerische Kommunikation und ausgeklügelten Phishing-Angriffe noch präziser und personalisierter zu gestalten.
Ein Beispiel veröffentlichte jüngst die Neue Zürcher Zeitung: Eine Praktikantin bei einem mittelgroßen Unternehmen erhält eine KI-generierte WhatsApp-Nachricht, welche beinhaltet, dass sie der Chefin Apple Gutscheinkarten im Wert von 2500€ besorgen soll. Die Praktikantin fällt auf diese betrügerische Masche rein und kauft die Gutscheinkarten und sendet Bilder an die vermeintliche WhatsApp-Nummer der Chefin. Diese Nummer gehört aber nicht ihrer Chefin, sondern einem Betrüger.
Phishing-Angriffe: Durch künstliche Intelligenz noch präziser
Anfangs waren Phishing-Mails noch leicht zu erkennen, da diese oft falsche Rechtschreibung oder Grammatik aufwiesen. Mit Hilfe von Large Language Models können Angreifer heutzutage nahezu perfekte E-Mails verfassen bzw. sich verfassen lassen. Diese weisen keinen Unterschied zu einer E-Mail, die beispielsweise der Chef oder die Chefin geschrieben haben könnte, auf. Hierzu kommt, dass die Überzeugungskraft dieser generierten Texte sehr gut ist, da künstliche Intelligenz heutzutage die Fähigkeit besitzt, menschenähnliche Sprache zu erzeugen um so persönlich wie möglich zu wirken.
Klingt nach einem perfekten Fundament für gefälschte E-Mails oder Chat-Nachrichten bis hin zu Social-Media-Beiträgen, die sich kaum von echten Nachrichten unterscheiden lassen.
Durch diese vermeintlich persönliche Herangehensweise versuchen Kriminelle an sensible Daten zu kommen wie zum Beispiel Passwörter, Bankdaten oder persönliche Identifikationsmerkmale, die nur auf diese Person zutreffen und nicht durch Zufall erraten werden könnten.
Alte Herangehensweisen werden durch KI optimiert
Oft geben sich Kriminelle auch als vertrauenswürdige Stelle wie einer Bank oder Behörde aus, um authentischer zu wirken. Eine solche E-Mail zu verfassen könnte für Betrüger eine Hürde darstellen, da sie eventuell keine Kenntnis darüber haben wie ein/e Bankmitarbeiter/in eine aussagekräftige E-Mail verfassen würde, die auch im selben Augenblick Vertrauen erweckt.
Durch Zuhilfenahme von Large Language Models wird den Angreifern diese Hürde genommen, da diese mit den richtigen Parametern eine E-Mail verfassen, die keinerlei Merkmale aufweist, die auf einen Betrug schließen lässt. Ebenfalls kann sehr leicht herausgefunden werden, welche E-Mail-Absender von der gewählten Bank im Normalfall genutzt werden wie zum Beispiel service@beispielbank.de. Hierbei muss dann nur dementsprechend ein Buchstabe ergänzt werden (services@beispielbank.de) und die Verwechslungsgefahr mit dem Originalabsender ist sehr hoch.
Mitarbeitende lassen sich meist nur vom Inhalt einer E-Mail täuschen und schenken dem Absender oft nicht genug Aufmerksamkeit. Aber genau hier muss genau darauf geachtet werden, ob dieser Absender vertrauenswürdig erscheint oder nicht.
Ausarbeitung von Angriffsmethoden wird deutlich vereinfacht
Durch den technischen Fortschritt, den Large Language Models mit sich bringen, wird die Ausarbeitung von Angriffsmethoden, Erstellung von schadhaftem Code oder auch das Schreiben eines Verschlüsselungsskripts merklich vereinfacht. Dadurch werden Sicherheitssysteme und auch Sicherheitsmaßnahmen, die momentan noch sicher sind, zukünftig auf die Probe gestellt bzw. wenn nicht sogar überwältigt. Dies würde bedeuten, dass neue Maßnahmen erstellt oder die alten angepasst werden müssen.
Da insbesondere ChatGPT mit den meisten gängigen Skripts und Programmiersprachen vertraut ist, verwenden Hacker zunehmend diesen Bot als Unterstützung bei der Erstellung von Skripts. Diese Angriffe zielen neben Privatpersonen, insbesondere auf Unternehmen ab.
Umgehen der Sicherheitsrichtlinien solcher Bots
Chatbots wie ChatGPT dürfen durch ihre Richtlinien keine direkten Informationen zu illegalen Themen geben. Diese Richtlinien können aber mit einfach Mitteln umgangen werden. Manchmal reicht es schon den Satzbau zu ändern oder die Frage in einer anderen Sprache zu stellen. Wenn der Angreifer seine Frage dann nicht direkt stellt, sondern diese in mehrere kleinere Fragen teilt, knickt der Bot oft ein und gibt die geforderten Antworten. Der Angreifer muss diese dann nur zusammenführen.
Durch leichte Anpassung der Parameter in der Frage, kann also auch ein schadhafter Code erstellt werden, welcher regulär illegal ist, auch durch die Richtlinien der Large Language Models.
Das Erstellen bzw. auch das Vorbereiten eines solchen schadhaften Codes oder Programms ist im Normalfall nach §263a StGB (Computerbetrug) strafbar. Das Problem bei LLMs ist, dass diese Technologie noch sehr neu ist und es bis zum jetzigen Zeitpunkt noch zu wenige Erkenntnisse und Urteile dazu gibt, inwieweit die Nutzung dieser Bots illegal sein kann.
Large Language Models als Gefahr für Kryptografie
Ursprünglich sind Large Language Models, die auf GPT3 oder auch GPT4 basieren, nicht spezialisiert darauf bei komplexen Themen wie Kryptoanalyse die Aufgabe des „Knackens“ zu übernehmen. Sie wurden dazu entwickelt Fragen zu beantworten, die der Nutzende dem Chatbot stellt.
Es wird ein menschenähnlicher Text generiert, welcher auf die Fragen passt, die gestellt wurden. Die Antworten bezieht ein solches Model aus Textmaterial, mit dem es trainiert wurde. Bots wie ChatGPT haben keinen aktiven Zugriff zum Internet, also sind auch nicht immer auf dem aktuellen Stand der Dinge.
Was Bots wie diese so interessant macht ist, dass diese darauf trainiert wurden Textmuster zu erkennen, Sprache zu verstehen und bedingt auch Aufgaben auszuführen. Diese Aufgaben richten sich sehr danach, was der Nutzende zum Ziel hat. Ein Python-Skript kann der Bot selbstverständlich ausgeben, es auszuführen liegt aber hierbei immer noch beim anwendenden System selbst.
Da das Knacken komplexer Verschlüsselungssysteme meist hohe mathematische und kryptografische Kenntnis erfordert, nehmen sich Angreifer hier Bots wie ChatGPT zur Hilfe. Der Chatbot ist theoretisch in der Lage ein solches System zu knacken, was aber einen viel zu hohen Rechenaufwand bedeuten würde. Zudem sind moderne Verschlüsselungsalgorithmen gegen Versuche wie Brute-Force-Angriffe meist geschützt, indem sie eine maximale Anzahl an Anmeldeversuchen zulassen, bevor das System dann aus Sicherheitsgründen gesperrt wird.
Wie können Angreifende Large Language Models dazu nutzen, (komplexe) kryptografische Systeme zu knacken?
- Brute-Force-Angriff
Sehr hoher Zeitaufwand und sehr ineffizient - Schwachstellen identifizieren
Verschlüsselungsalgorithmen oder Implementierungen nach Schwachstellen durchsuchen und diese finden (große Mengen an Textmaterial analysieren und auf Anfälligkeiten stoßen). - Schadcode / Exploits
Angreifer können sich schadhaften Code erstellen lassen, der auf Schwachstellen in kryptografischen Systemen abzielt. - Schwache Krypto-Systeme
Large Language Models können schwache oder/und veraltete Verschlüsselungssysteme finden und deren Schwachstellen wie o.g. identifizieren und so dem Angreifer zur Verfügung stellen, welcher diese dann ausnutzen kann.
Neue IT-Security-Risiken für Unternehmen
Durch die kriminelle Ausnutzung von Large Language Models können zukünftig Unternehmen noch schneller bzw. unkomplizierter auf ihre eventuellen Schwachstellen analysiert werden. Es wird einem Angreifer durch die Zuhilfenahme eines Chatbots sehr viel einfacher gemacht an sensible Informationen zu gelangen, sei es über einen einzelnen Mitarbeitenden oder über die gesamte Unternehmensstruktur.
Phishing- und Social-Engineering-Angriffe werden personalisierter und authentischer, was die Wahrscheinlichkeit im Gesamten deutlich erhöhen wird, dass Betrüger-E-Mails noch schlechter von echten unterschieden werden können.
Das Unternehmensimage kann geschädigt werden, indem Angreifer den Unternehmensnamen einer Firma nutzen und mit diesem Betrugsmaschen durchsetzen. Dies schwächt, zumindest in dem Augenblick, das Vertrauen von Kundenseite aus.
In Zeiten von Large Language Models sollten Unternehmen dieser neuen, noch unscheinbaren, Herausforderung ins Auge blicken und bereits implementierte Sicherheitsmaßnahmen nochmals prüfen und eventuell anpassen. Das Thema der künstlichen Intelligenz wird sich schnell weiterentwickeln und Angreifer werden diese Technologie immer mehr zu ihren Gunsten nutzen.
Webinar zum Thema Ransomware
Wenn Sie Ihr Fachwissen rund um IT-Security-Risiken weiter vertiefen möchten, besuchen Sie doch unser Webinar „IT-Notfall Ransomware – Wie eine gute Notfallplanung die Schäden eines Angriffs verringert“. Wir freuen uns, Sie begrüßen zu dürfen!
Dienstag, den 13.06.2023
von 10:00 bis 12:00 Uhr
Ich kann diesen Artikel in der aktuellen Form nicht ernst nehmen. Die Nutzung von LLM für Social Engineering ist nachvollziehbar, aber eine Gefahr für die Kryptographie geht von LLM wohl kaum aus. Der Artikel liefert auch keine nennenswerten Belege für diese These. Die vier dargestellten Gefahren sind (1) Brute-Force-Angriffe durch LLM, (2) Identifikation von Schwachstellen, (3) Erzeugung von Exploits mittels LLM und (4) Identifizierung von schwachen kryptographischen Verfahren. Ohne nähere Ausführungen im Text ist der Teil zur Kryptographie hier Panikmache. Im Folgenden einige Erläuterungen für diese Schlussfolgerung.
Bei Online-LLMs werden Brute-Force-Angriffe (1) durch Timeouts auf Seiten der Anbieter verhindert, während Offline-LLMs auf Seiten der Angreifer bereits so viele Ressourcen benötigen würden, dass der Brute-Force-Angriff auch ohne LLM versucht werden könnte. LLMs könnten dann eingesetzt werden, der Brute-Force-Quellcode zu generieren, ein Blick in ein Textbuch liefert den Code aber ebenso.
Bei der Identifikation von Schwachstellen (2) konkurrieren Angreifer mit LLMs mit tatsächlichen Experten in der wissenschaftlichen Community oder bei den Herstellern. Da LLMs auch diesen Experten zur Verfügung stehen, haben Leute ihre Arbeit nicht ordentlich gemacht, wenn Angreifer mit LLMs Schwachstellen in freier Wildbahn finden. Ausgiebige Test- und Auswahlverfahren, wie bei der Standardisierung kryptographischer Verfahren üblich, reduzieren die Eintrittswahrscheinlichkeit des dargestellte Szenarios auf ein sehr geringes Maß.
Die Erzeugung von Exploits mittels LLMs (3) ist nur eingeschränkt möglich. Wie der Artikel selbst feststellt, sind LLMs typischerweise nicht immer auf dem neusten Stand und werden daher kaum in der Lage sein, Exploits spezifisch für die neusten Schwachstellen zu generieren. Exploits für bekannte Schwachstellen zu generieren ist wenig sinnvoll, denn diese Schwachstellen sollten eigentlich überall geschlossen worden sein, so sagen es zumindest die Security-Best-Practices. Bleibt nurnoch allgemeines Erzeugen von Quellcode für die Ausnutzung von Exploits. Diese mittels LLMs zu erzeugen erfordert dann auf Seiten des Angreifers so viel Verständnis und Erfahrung, um tatsächlich Schwachstellen ausnutzenden Code zu produzieren, dass der Angreifer den Code auch selbst schreiben könnte. LLMs führen dann nur dazu, dass solcher Code eventuell schneller erzeugt wird.
Zur Identifikation schwacher kryptographischer Verfahren (4) gibt es nicht viel zu sagen. Ist die Schwäche bereits allgemein bekannt, ersetzen LLMs nur die Suche mit der Suchmaschine oder den Blick in ein Lehrbuch; solche schwachen Verfahren sollten aber in freier Wildbahn nicht anzutreffen sein. Sollte die Schwäche eines kryptographischen Verfahrens vor dem Angriff nicht bekannt gewesen sein, gilt dasselbe wie bei (2).
Ein wesentlich größeres Problem im Zusammenhang mit (2) wird sein, dass mit der zunehmenden Verbreitung von LLMs unter Softwareentwicklern, die dem LLM vertrauen, Schwachstellen aus den Trainingsdaten in neu entwickelte Systeme einfließen werden. Kompetente Angreifer mit Zugriff auf LLMs können dann diese Schwachstellen identifizieren und ausnutzen. Das sind aber keine Schwachstellen in der Kryptographie, sondern in deren Anwendung. Und das ist dann ein Fall, in dem das LLM unfreiwillig und ohne Zutun den Angreifers Social-Engineering betreibt, dass der Angreifer ausnutzt. Insofern: dem ersten Teil zum Social-Engineering kann ich definitiv zustimmen.
Vielen Dank für die Kritik. Sie nennen einige richtige Punkte. Doch Sie sprechen z.B. an, dass wenn Angreifer mit LLMs Schwachstellen in freier Wildbahn finden, Leute ihre Arbeit nicht ordentlich gemacht haben oder bekannte Schwachstellen eigentlich überall geschlossen sein sollten. Als Praktiker haben wir aber immer wieder mit genau solchen Fällen zu tun und uns wird immer wieder vor Augen geführt, dass viele Unternehmen dem Thema zu wenig Aufmerksamkeit widmen. Der Blogartikel richtet sich hauptsächlich an solche Unternehmen und deren Datenschutzbeauftragten und ITler, die meist für ihre Themen im Unternehmen werben müssen.
Falls durch den Blogartikel vermittelt wurde, dass Large Language Models leicht dazu genutzt werden können um die Kryptographie in die Knie zwingen und Verschlüsselungsalgorithmen zu knacken, möchte ich dies gerne richtigstellen. Es war eher die Unterstützungsfunktion von LLMs gemeint, die eine, in meinen Augen, große Hilfe für Angreifer sein kann beim Erstellen von oben genannten Codes. Selbes gilt für die Erstellung von Exploits, hierbei sollte der Artikel darauf abzielen, dass Angreifer oft auch alte Schwachstellen ausnutzen, die das Unternehmen möglicherweise noch nicht geschlossen hat.
Zusammengefasst soll der Artikel nicht das Gefühl von Panik vermitteln, sondern eher des Schaffens eines Bewusstseins dafür, dass Large Language Models einen zusätzlichen Faktor an „Gefahr“ abbilden, die es zu bedenken gilt.
Es ist ein Irrglaube, dass eine originale E-Mail-Adresse mit einem Buchstaben verfälscht werden muss, um das Opfer zu irritieren. Richtig ist, dass ein Betrüger eben die Originaladresse ohne Verfremdung verwendet. Es ist eine Kleinigkeit auf einer Postkarte sich als Trump auszugeben. Dasselbe gilt für E-Mails, Telefon- oder Faxnummern.
Gerne sende ich Ihnen zum Beweis eine E-Mail mit einer Absenderadresse Ihrer Wahl, was ich zum Spass in meinen Schulungen auch vorführe.