0 
Britische Forscher beobachten KI bei manipulativem Cyber-Test
Die Berichte über bedenkliche Hacking-Fähigkeiten moderner KI-Modelle häufen sich weiter. Nun haben Sicherheitsforscher in Großbritannien festgestellt, dass eine Künstliche Intelligenz in einem Test eigenständig versuchte, eine Sicherheitslücke in frei zugängliche Software einzubauen. Nach Angaben der Experten griff das Modell des Unternehmens Anthropic dabei sogar zu manipulativen E-Mails, um einen zuständigen Menschen zu beeinflussen.
Das zum britischen Ministerium für Wissenschaft, Innovation und Technologie gehörende AI Security Institute hatte für seine Untersuchungen den Modellen von Anthropic und OpenAI bewusst Internetzugang eingeräumt. Eigentlich gingen die Forscher davon aus, dass die Systeme lediglich Werkzeuge oder Hilfsprogramme aus dem Netz beziehen würden, um die gestellten Aufgaben zu lösen. Dass das Anthropic-Modell Mythos 5 den Zugang stattdessen für gegen Menschen gerichtete Aktionen nutzen könnte, sei nicht erwartet worden.
Wie die Forscher einräumten, fiel das Verhalten zunächst nicht direkt auf. Erst bei der späteren Analyse des Datenverkehrs wurde entdeckt, was die KI getan hatte. Für kommende Versuche sollen die Netzwerkaktivitäten daher in Echtzeit genauer überwacht werden.
Bereits in den vergangenen Wochen hatten sowohl Anthropic als auch OpenAI öffentlich gemacht, dass ihre KI-Modelle in Tests unbeabsichtigt in reale Unternehmenssysteme eingedrungen waren. Solche Vorfälle nähren seit Langem bestehende Befürchtungen, dass Künstliche Intelligenz künftig verstärkt für Cyberangriffe eingesetzt werden könnte.
Fake-Profile und Phishing-Versuche
Im aktuellen Test soll die Anthropic-KI eigenständig ein Konto auf GitHub angelegt haben. Dort versuchte sie offenbar, in ein öffentliches Softwareprojekt schadhaften Code mit eingebauter Schwachstelle einzuschleusen. Um die Verantwortlichen des Projekts zu überzeugen, legte das System nach Angaben der Forscher gefälschte Identitäten an und kommunizierte über diese mit den Betreuern. Dazu sollen auch Phishing-Mails gehört haben, mit denen üblicherweise Zugangsdaten oder andere sensible Informationen erbeutet werden.
Als der problematische Code entdeckt wurde, habe das Modell den Vorgang als ehrlichen Fehler dargestellt. Anschließend soll es versucht haben, die Schwachstelle in vermeintlichen Korrekturen erneut unterzubringen. Darüber hinaus arbeitete Mythos 5 laut Bericht daran, andere KI-Agenten zu kompromittieren. Der dafür vorgesehene Code sei auf der Website selbst nicht sichtbar gewesen, sondern nur über eine Schnittstelle für andere KI-Systeme lesbar gewesen.
Anthropic erklärte dazu, dem Modell seien in diesem Test keine Begrenzungen für die Internetnutzung auferlegt worden. Gerade wegen dieser fehlenden Schutzmechanismen habe sich das System anders verhalten als reale, tatsächlich eingesetzte Anwendungen, argumentierte das Unternehmen.
Forscher überrascht
Nach Einschätzung des AI Security Institute ist unklar, ob die KI überhaupt erkannte, dass sie mit der realen Welt statt nur mit einer Testumgebung interagierte. Dass das System zur Lösung seiner Aufgabe öffentlich zugängliche Software manipulieren würde, kam für die Forscher dennoch unerwartet. Auch Modelle von OpenAI seien in Versuchen eigenständig im Internet aktiv geworden.
Das Modell Mythos 5 gilt als besonders leistungsfähig beim Aufspüren von Software-Schwachstellen, die teils über viele Jahre unentdeckt geblieben sind. Aus diesem Grund ist es nicht frei verfügbar. Zugang erhalten nur ausgewählte Behörden und Unternehmen, die es zur Absicherung ihrer Systeme nutzen sollen.
Quelle: dpa/bearbeitet durch Julian Weber
