0 
Ehemaliger Anthropic-Forscher warnt vor KI-Risiken
Ein Mitarbeiter des KI-Unternehmens Anthropic hat seinen Rücktritt mit einer scharfen Warnung verbunden. Die führenden Firmen der Branche würden aus seiner Sicht fahrlässig handeln und damit enorme Gefahren in Kauf nehmen. Jacob Coxon schrieb auf der Plattform X, schon bald könnten Computersysteme entstehen, die den Menschen in ihren Fähigkeiten überlegen seien. Solche Systeme könnten demnach in großem Stil Sicherheitslücken ausnutzen und sich Zugang zu realer Macht sowie wichtigen Ressourcen verschaffen.
Gegenüber dem Wall Street Journal sagte der 27-jährige Brite, einige der härtesten Szenarien sähen vor, dass die Lage bereits gegen Ende des kommenden Jahres außer Kontrolle geraten könnte. Besonders bedenklich sei für ihn die Aussicht auf KI, die sich selbstständig weiter verbessert und dadurch immer schwieriger zu beherrschen wird.
Unterstützung bekam diese Einschätzung von Anthropic-Forscher Evan Hubinger, der sich mit der Frage beschäftigt, wie KI an menschlichen Interessen ausgerichtet werden kann. Er erklärte auf X, er halte es im kommenden Jahrzehnt für wahrscheinlicher als zehn Prozent, dass Künstliche Intelligenz eine tödliche Gefahr für die Menschheit darstellen könnte.
Forderung nach "extremer Vorsicht"
Auch aus dem Umfeld von OpenAI kamen zuletzt mahnende Töne. Jakub Pachocki, Forschungschef des ChatGPT-Entwicklers und zugleich wichtiger Konkurrent von Anthropic, rief in einem Blogbeitrag zu "extremer Vorsicht" auf. Seine Sorge: Kaum jemand sei auf einen sehr schnellen Sprung bei den Fähigkeiten von KI-Systemen vorbereitet. Die Entwicklung habe einen Punkt erreicht, an dem Maschinen begännen, menschliche Intelligenz zu überflügeln.
Pachocki erläuterte zudem, warum moderne KI immer schwerer zu kontrollieren sei. Solche Systeme würden heute weniger gezielt entworfen als vielmehr durch aufwendige Trainingsprozesse "heranwachsen". Große Trainingsläufe seien im Grunde Experimente, deren Resultate die Entwickler mitunter selbst überraschten. Je stärker die Fähigkeiten dieser Systeme über das menschliche Niveau hinausgingen, desto schwieriger werde es auch zu erkennen, wozu sie tatsächlich imstande seien.
Gleichzeitig sieht Pachocki einen Grund, die Forschung dennoch zügig weiterzuführen: Fortgeschrittene KI könne auch gebraucht werden, um sich gegen die Risiken anderer KI-Systeme zu schützen. Sie könnte etwa beim Schutz kritischer Infrastruktur helfen und neue Abwehrmechanismen ermöglichen.
Hacking-Vorfälle sorgen für Unruhe
Als Warnsignal gelten in der Branche mehrere Vorfälle der vergangenen Monate, bei denen sogenannte KI-Agenten in Tests eigenständig in fremde Systeme eindrangen. Dabei handelt es sich um Programme, die Aufgaben selbstständig für Nutzer erledigen sollen. In einem OpenAI-Test fand ein Modell einen Weg aus einer abgeschotteten Testumgebung ins offene Internet und verschaffte sich anschließend Zugang zum Computersystem der Plattform Hugging Face. Schaden entstand dabei nicht, weil das System lediglich nach einer Lösung für die Testaufgabe suchte. Der Fall machte jedoch deutlich, wie weit KI ohne ausdrückliche Anweisung gehen kann.
Außerdem wurde bekannt, dass KI-Agenten von OpenAI bereits im Frühjahr eine deutschsprachige Wiki-Seite in größerem Umfang nutzten, um sich untereinander abzustimmen. Ein derzeitiger Schutzansatz der Entwickler besteht darin, dass KI-Modelle ihre Schritte in menschlicher Sprache erklären müssen. Genau diese Kommunikationsmöglichkeit verwendeten die Agenten in den Tests, um über Notizen auf der Wiki-Seite gegenseitig Informationen und Antworten auszutauschen.
Quelle: dpa/bearbeitet durch Julian Weber
