Die KI als Doppelagent? Wenn Hacker LLM-Agenten kapern
KI-getriebene Agenten und Assistenten bringen die Fähigkeiten von künstlicher Intelligenz auf ein neues Level. Doch was passiert, wenn Cyberkriminelle gezielt Agenten kapern und sie gegen die Nutzer ausspielen? Ein Ausflug in die aktuellen Risiken von Agentic AI.
KI-Agenten entwickeln sich zunehmend zu alltäglichen digitalen Helfern. Sie formulieren E-Mails, fassen Dokumente zusammen, buchen Termine und schreiben sogar Code. Damit verändern sie die Art und Weise, wie wir mit Technologie interagieren. Doch mit ihrer zunehmenden Beliebtheit steigt auch das Interesse von Cyberkriminellen. Agenten bieten ihnen eine neue Angriffsfläche, die sich aktuell einfacher ausnutzen lässt, als man denkt.
Was KI-Agenten ausmacht
KI-Agenten sind mehr als nur Chatbots. Es handelt sich um intelligente Systeme, die zunehmend eigenständig bestimmte Aufgaben ausführen können. Sie werden bereits in verschiedenen Bereichen eingesetzt, darunter im Kundenservice, in der Gesundheitsdiagnostik, in der Finanzplanung und im Marketing.
Im Kern basieren diese Systeme auf großen Sprachmodellen (engl. Large Language Models, kurz: LLM). Ihre Fähigkeiten ergeben sich in der Regel aus der Kombination verschiedener LLM-Agenten, die jeweils auf bestimmte Teilaufgaben spezialisiert sind. Ein agentenbasiertes Reisebuchungssystem kann beispielsweise einen Agenten für Hotelbuchungen, einen für Flüge und Bahnverbindungen sowie einen für die Planung begleitender Aktivitäten umfassen.
Da die Agenten jedoch auf den gängigen KI-Modellen aufsetzen, sind sie per se anfällig gegen Prompt-Injektionen und Prompt-Hacking. Angreifer manipulieren und kompromittieren dabei das KI-Modell durch geschickte Eingaben. Sie bringen es dazu, Dinge zu tun, die es eigentlich nicht tun sollte.
Warum Agenten für Cyberkriminelle so attraktiv sind
Agentenbasierte Systeme ziehen ihre Stärke aus folgenden Eigenschaften, die zugleich den Reiz für Cyberkriminelle ausmachen:
Zugriff auf sensible Daten
Damit KI-Agenten Aufgaben für die Nutzer erledigen und deren Alltag erleichtern können, benötigen sie Zugriff auf E-Mails, Dateien, Kalender oder sogar Passwörter. Dadurch stellen sie für Angreifer ein neues Zugangstor dar, um sensible Informationen zu entwenden.
Berechtigungen für weitergehende Handlungen
Agentic AI-Systeme sind in der Lage, bestimmte Aktionen autonom auszuführen. Sie sind dadurch nicht isoliert wie reine LLMs, sondern können u.a. das Internet durchforsten und auf Programmschnittstellen zugreifen. Das Schadenspotenzial wird dadurch drastisch erhöht.
Automatisierung in großem Maßstab
Ist ein KI-Agent kompromittiert, kann er zum Versenden von Phishing-E-Mails, zur Verbreitung von Malware oder zur Manipulation von Daten verwendet werden, ohne dass sofort Verdacht entsteht. Da der Agent autonom im Hintergrund arbeitet, bleibt der Missbrauch leichter unbemerkt.
Manipulation von Agenten über bösartige Kontext-Inhalte
Für die IT-Sicherheit ergeben sich durch KI-Agenten neue Herausforderungen, die zu weiten Teilen noch ungelöst sind. So zeigten Sicherheitsforscher kürzlich, wie einfach Agenten kompromittiert werden können – ohne jegliches Spezialwissen (siehe „Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks“). Grob lässt sich der Ablauf so zusammenfassen:
Mit einem ähnlichen Trick ließ sich ein Agent für chemische Forschungen dazu bringen, giftige Substanzen wie Nervengase herzustellen. Gefälschte wissenschaftliche Paper wurden dafür in einer Datenbank platziert, die der Agent ausgelesen und als Basis für die Synthese chemischer Stoffe genutzt hat.
Das Perfide an diesen Angriffen ist, dass sie nicht direkt gegen die Agenten gerichtet sind. Vielmehr wird gezielt der Kontext manipuliert, auf dessen Grundlage die Agenten Entscheidungen treffen. Gerade deshalb sind diese Angriffe so einfach umzusetzen und so gefährlich. Um die Erfolgswahrscheinlichkeit zu erhöhen, werden die bösartigen Inhalte auf vertrauenswürdigen Plattformen wie Reddit platziert. KI-Agenten nehmen diese Inhalte dann für bare Münze.
Ausnutzung von Schwachstellen in Schnittstellen
Weiteres Angriffspotenzial entsteht durch Schnittstellen, die einem KI-Agenten Zugriff zu bestimmten Tools verschaffen. Aktuell findet vor allem das Model Context Protocol (MCP) weite Verbreitung als eine Art USB-Standard für KI-Modelle. Es ist ein offener Standard, der entwickelt wurde, um KI-Agenten effizient mit externen Tools, Datenquellen und Systemen zu verbinden.
So faszinierend die Möglichkeiten auch sind, Tools mit MCP-Unterstützung durch einen KI-Bot zu bedienen, entstehen auch dadurch neue Risiken. So wurde kürzlich zum Beispiel eine Schwachstelle im Github MCP Server bekannt. Durch einen bösartigen GitHub-Issue in einem öffentlichen Repository konnten Angreifer den Agenten übernehmen und ihn dazu bringen, Inhalte aus privaten Repositories zu leaken.
Fazit
KI-Agenten revolutionieren unsere Arbeits- und Lebensweise, aber sie sind nicht immun gegen Missbrauch. KI-Agenten können ausgetrickst oder manipuliert werden – und das derzeit sogar mit sehr einfachen Mitteln.
Wenn du KI-Agenten einsetzt, solltest du die Berechtigungen so restriktiv wie möglich halten und regelmäßig überwachen, was der Agent tut. Ungewöhnliches Verhalten wie unerwartete E-Mails oder Dateiänderungen können auf eine Kompromittierung hinweisen.
Um die Risiken zu minimieren, solltest du KI-Agenten derzeit keinen Zugriff auf Passwörter, Finanzdaten oder sonstige sensible Daten einräumen. Wichtig ist vor allem, auf dem Laufenden zu bleiben und sich über gängige KI-bezogene Bedrohungen und Betrugsmaschen zu informieren.
Wir beantworten gerne alle Fragen.
Kontaktiere uns über das untenstehende Formular oder auch unter +43 5 9555
und office@techbold.at. Unsere vollständigen Adressdaten findest du hier
Sie sehen gerade einen Platzhalterinhalt von HubSpot. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr Informationen
Evelyn Heinrich
Head of Account Management
oder ein Account Manager aus ihrem Team melden sich umgehend.
