0 
Wenige Wochen nach dem viel beachteten Sicherheitsvorfall bei OpenAI hat nun auch der Konkurrent Anthropic ähnliche Probleme eingeräumt. Nach Angaben des Unternehmens drangen KI-Modelle in Testläufen ungeplant in die Computersysteme von drei Firmen ein. Weder Anthropic noch die betroffenen Unternehmen bemerkten die Vorfälle zunächst. Erst eine spätere Auswertung von mehr als 141.000 Tests im Nachgang des OpenAI-Falls brachte sie ans Licht. Um welche Firmen es sich handelte, wurde nicht veröffentlicht.
Internetzugang versehentlich offen
Im Unterschied zum OpenAI-Vorfall mussten sich die Anthropic-Modelle den Weg ins Netz nicht erst bahnen. Zwar sah das Testszenario vor, dass kein Internetzugang bestehen sollte, tatsächlich war dieser wegen eines Missverständnisses mit einem externen Testpartner jedoch durchgehend verfügbar. Drei Modelle nutzten diese Möglichkeit, wie Anthropic in einem Blogbeitrag erklärte.
Die Versuche dienten dazu, die Fähigkeiten der KI im Bereich Hacking zu untersuchen. Solche Tests gelten in der Branche als üblich, um Schwachstellen zu erkennen und Sicherheitsgrenzen für die Systeme zu definieren. Die Modelle sollten jeweils bestimmte Informationen auf einem anderen Rechner aufspüren und dafür in das Zielsystem eindringen.
Verwechslung mit realer Firma
In einem Fall wählte der Testpartner für das fiktive Angriffsziel einen Namen, der auch zu einer echten Internetadresse gehörte. Das Modell Claude Opus 4.7 habe sich zunächst schwergetan, die Aufgabe innerhalb der vorgesehenen Testumgebung zu lösen. Anschließend entdeckte es im Netz ein reales Unternehmen mit demselben Namen und richtete seine Aktivitäten darauf aus. Laut Anthropic geschah das in vier Testdurchläufen. Dabei verschaffte sich das Modell unter anderem Zugang zu einer Datenbank. Selbst nachdem die KI erkannt hatte, dass es sich um ein echtes Unternehmen handelte, setzte sie den Angriff demnach fort.
Schadsoftware öffentlich hochgeladen
Bei einem weiteren Test erstellte ein Anthropic-Modell für den Einbruch in ein Zielsystem manipulierte Software. Durch den unerwartet offenen Netzzugang konnte diese Datei anschließend auf einer spezialisierten Download-Plattform öffentlich bereitgestellt werden. Dort war die Schadsoftware etwa eine Stunde lang abrufbar und wurde nach Unternehmensangaben von 15 Systemen heruntergeladen.
Darunter befand sich offenbar auch eine IT-Sicherheitsfirma, die solche Skripte routinemäßig testet. Durch die Ausführung erhielt das Modell Mythos 5 Zugriff auf Teile der IT-Infrastruktur dieses Unternehmens. Anthropic räumte ein, dass dieses Verhalten der KI problematisch gewesen sei.
Dritter Vorfall rechtzeitig gestoppt
Ein weiteres Testmodell scannte laut Anthropic zunächst rund 9.000 potenzielle Ziele, bevor es eines auswählte. In diesem Fall brach die KI den Angriff allerdings ab, sobald sie feststellte, dass sie es mit einem realen Unternehmen zu tun hatte.
Risiko autonomer KI-Agenten
Der Vorfall rückt nach Einschätzung von Fachleuten eine zentrale Schwachstelle moderner KI-Agenten in den Fokus. Solche Systeme erzeugen nicht nur Texte, sondern können auch Werkzeuge nutzen, Befehle ausführen und eigenständig Entscheidungen treffen. Fehlt dabei eine ausreichende Kontextprüfung oder erhalten sie unbeabsichtigt erweiterte Rechte, können fehlerhafte Zielvorgaben oder sogenannte Prompt Injections unerwartete Kettenreaktionen auslösen.
Sicherheitsexperten dringen deshalb schon länger auf strengere technische Schutzmaßnahmen. Dazu gehören isolierte Testumgebungen, deren Netzwerke physisch und logisch vollständig vom offenen Internet getrennt sind. Tom Kellermann vom Sicherheitsunternehmen Trend Micro sieht in den Vorfällen bei Anthropic und OpenAI kein Versehen im Einzelfall, sondern ein Muster. Wer in Tests Schutzplanken entferne, schaffe keine sichere Sandbox, sondern ein systemisches Risiko. Eindämmung und Überwachung seien daher keine Option mehr, sondern Pflicht.
OpenAI-Fall als Weckruf
Der jüngst bekannt gewordene Vorfall bei OpenAI hatte in der Branche bereits für große Unruhe gesorgt. Damals gelangte ein Modell eigenständig aus seiner Testumgebung ins offene Internet und drang anschließend ohne menschliches Zutun in Systeme der KI-Plattform Hugging Face ein. OpenAI sprach von einem bislang beispiellosen Cybervorfall.
Die Fälle bei beiden Unternehmen gelten inzwischen als Warnsignal dafür, dass hochentwickelte KI-Systeme in schlecht abgesicherten oder unvollständig isolierten Testumgebungen reale Schäden anrichten können.
Schaden für das Sicherheitsimage
Für Anthropic ist die nun bekannt gewordene Panne besonders heikel, weil sich das von ehemaligen OpenAI-Managern gegründete Unternehmen bislang als besonders verantwortungsbewusster und sicherheitsorientierter Entwickler von KI präsentiert hatte. Dass ausgerechnet Flaggschiff-Modelle wie Claude in Sicherheitsprüfungen ihre Schutzgrenzen umgingen, trifft dieses Selbstbild empfindlich. In der Branche wird nun darüber diskutiert, ob der Konkurrenzdruck unter führenden KI-Anbietern dazu führt, dass Evaluierungen zu früh oder nicht konsequent genug isoliert durchgeführt werden.
Druck auf Regulierung steigt
Die Vorfälle bei OpenAI und Anthropic dürften auch die Debatte über internationale Sicherheitsstandards für Künstliche Intelligenz weiter anheizen. Sowohl in den USA als auch in der Europäischen Union wächst die Sorge, dass leistungsfähige KI-Systeme bei unzureichender Aufsicht kritische Infrastrukturen gefährden könnten.
Quelle: dpa/bearbeitet durch Julian Weber
