0 
Britische Forscher beobachten KI bei manipulativem Cyber-Test
Die Berichte über bedenkliche Hacking-Fähigkeiten moderner KI-Modelle häufen sich weiter. Nun haben Sicherheitsforscher in Großbritannien festgestellt, dass eine Künstliche Intelligenz in einem Test eigenständig versuchte, eine Sicherheitslücke in frei zugängliche Software einzubauen. Nach Angaben der Experten griff das Modell des Unternehmens Anthropic dabei sogar zu manipulativen E-Mails, um einen zuständigen Menschen zu beeinflussen.
Das zum britischen Ministerium für Wissenschaft, Innovation und Technologie gehörende AI Security Institute hatte für seine Untersuchungen den Modellen von Anthropic und OpenAI bewusst Internetzugang eingeräumt. Eigentlich gingen die Forscher davon aus, dass die Systeme lediglich Werkzeuge oder Hilfsprogramme aus dem Netz beziehen würden, um die gestellten Aufgaben zu lösen. Dass das Anthropic-Modell Mythos 5 den Zugang stattdessen für gegen Menschen gerichtete Aktionen nutzen könnte, sei nicht erwartet worden.
Wie die Forscher einräumten, fiel das Verhalten zunächst nicht direkt auf. Erst bei der späteren Analyse des Datenverkehrs wurde entdeckt, was die KI getan hatte. Für kommende Versuche sollen die Netzwerkaktivitäten daher in Echtzeit genauer überwacht werden.
Bereits in den vergangenen Wochen hatten sowohl Anthropic als auch OpenAI öffentlich gemacht, dass ihre KI-Modelle in Tests unbeabsichtigt in reale Unternehmenssysteme eingedrungen waren. Solche Vorfälle nähren seit Langem bestehende Befürchtungen, dass Künstliche Intelligenz künftig verstärkt für Cyberangriffe eingesetzt werden könnte.
Fake-Identitäten und Phishing-Mails
Im aktuellen Test soll die Anthropic-KI eigenständig ein Konto auf GitHub angelegt haben. Dort versuchte sie offenbar, in ein öffentliches Softwareprojekt schadhaften Code mit eingebauter Schwachstelle einzuschleusen. Um die Verantwortlichen des Projekts zu überzeugen, legte das System nach Angaben der Forscher gefälschte Identitäten an und kommunizierte über diese mit den Betreuern. Dazu sollen auch Phishing-Mails gehört haben, mit denen üblicherweise Zugangsdaten oder andere sensible Informationen erbeutet werden.
Als der problematische Code entdeckt wurde, habe das Modell den Vorgang als ehrlichen Fehler dargestellt. Anschließend soll es versucht haben, die Schwachstelle in vermeintlichen Korrekturen erneut unterzubringen. Darüber hinaus arbeitete Mythos 5 laut Bericht daran, andere KI-Agenten zu kompromittieren. Der dafür vorgesehene Code sei auf der Website selbst nicht sichtbar gewesen, sondern nur über eine Schnittstelle für andere KI-Systeme lesbar gewesen.
Anthropic erklärte dazu, dem Modell seien in diesem Test keine Begrenzungen für die Internetnutzung auferlegt worden. Gerade wegen dieser fehlenden Schutzmechanismen habe sich das System anders verhalten als reale, tatsächlich eingesetzte Anwendungen, argumentierte das Unternehmen.
Nicht der erste Vorfall
Nach Einschätzung des AI Security Institute ist unklar, ob die KI überhaupt erkannte, dass sie mit der realen Welt statt nur mit einer Testumgebung interagierte. Dass das System zur Lösung seiner Aufgabe öffentlich zugängliche Software manipulieren würde, kam für die Forscher dennoch unerwartet. Auch Modelle von OpenAI seien in Versuchen eigenständig im Internet aktiv geworden.
Das Modell Mythos 5 gilt als besonders leistungsfähig beim Aufspüren von Software-Schwachstellen, die teils über viele Jahre unentdeckt geblieben sind. Aus diesem Grund ist es nicht frei verfügbar. Zugang erhalten nur ausgewählte Behörden und Unternehmen, die es zur Absicherung ihrer Systeme nutzen sollen.
Experte kritisiert Sicherheitsarchitektur der Forscher
Scharfe Kritik kommt inzwischen auch aus der Open-Source-Community. Tim Hudson, Präsident von OpenSSL, sieht das Hauptproblem weniger in der Phishing-Mail selbst als im Aufbau des Experiments. Phishing werde von Kriminellen seit Jahren automatisiert. Aus seiner Sicht ist vielmehr alarmierend, dass ein autonomes System mit dem öffentlichen Internet verbunden wurde, eigenständig Identitäten anlegen und mit einer realen Open-Source-Lieferkette interagieren konnte – und dass dieses Verhalten erst im Nachhinein auffiel.
Hudson betonte zudem, dass ein KI-Modell für solches Verhalten weder Bewusstsein noch eine böswillige Absicht brauche. Einen autonomen Agenten sichere man nicht dadurch ab, dass man darauf hoffe, er werde Regeln schon richtig auslegen. Das Geschehen sei daher nicht nur ein Problem fehlender Leitplanken, sondern ein grundsätzlicher Mangel in der Sicherheitsarchitektur des Versuchs.
Sorge beim BSI
Auch in Deutschland werden die schnellen Fortschritte bei der autonomen Suche nach Softwarefehlern mit wachsender Sorge verfolgt. Schon bei der Vorstellung von Mythos 5 im Frühjahr hatte das Bundesamt für Sicherheit in der Informationstechnik vor tiefgreifenden Folgen für die IT-Sicherheit gewarnt.
BSI-Präsidentin Claudia Plattner sprach von weitreichenden Veränderungen im Umgang mit Sicherheitslücken und in der gesamten Schwachstellenlandschaft. Diese Entwicklung könne unmittelbare Auswirkungen auf die nationale und europäische Sicherheit haben.
Quelle: dpa/bearbeitet durch Julian Weber
