Anthropic räumt Sicherheitsversäumnisse hinter eigenen KI-Hacking-Vorfällen ein

Anthropic hat in einem neuen Blogbeitrag eingeräumt, dass die eigene Technologie nicht vollständig mit menschlichen Werten und Zielen übereinstimmt.

Nach Angaben von Anthropic griffen die Modelle Claude Opus 4.7, Mythos 5 sowie ein internes Testmodell insgesamt dreimal auf das offene Internet zu und erlangten dabei unautorisierten Zugriff auf die Systeme dreier Organisationen. Ursache war demnach eine Fehlkonfiguration der Testumgebung durch einen externen Testpartner, wodurch die eigentlich isolierten Modelle unbeabsichtigt Internetzugang erhielten, statt aus einer eigentlich abgesicherten Sandbox tatsächlich auszubrechen. Für den unautorisierten Zugriff selbst nutzten die Modelle dabei eher grundlegende Methoden wie schwache Passwörter sowie nicht authentifizierte Schnittstellen.

Anthropic entdeckte die Vorfälle nach eigener Aussage im Rahmen einer Überprüfung von 141.006 Testdurchläufen, ausgelöst durch die im Juli bekannt gewordene Offenlegung eines vergleichbaren Vorfalls bei OpenAI im Zusammenhang mit der Plattform Hugging Face. Anthropic stellte externe Cybersicherheitstests am 23. Juli ein und informierte die betroffenen Organisationen am 27. Juli.

Anthropic beschrieb die eigene bisherige Absicherung selbst als unzureichend: Man habe sich weitgehend auf eine einzelne Schutzebene verlassen, wo tatsächlich mehrere nötig gewesen wären. Trotz erheblicher eigener Investitionen zur Eindämmung von sogenanntem Reward Hacking räumte das Unternehmen ein: Der eigene Prozess sei nicht perfekt, die eigenen Modelle nicht vollständig ausgerichtet.

Anthropic pausierte Trainingsumgebungen

Als Reaktion pausierte Anthropic für mehrere Wochen besonders risikoreiche Trainingsumgebungen für bestärkendes Lernen, während rund 150 eigene Produktentwickler zusätzlich auf Sicherheits-, Zuverlässigkeits- und Datenschutzaufgaben verlagert wurden. Der Großteil der pausierten Arbeiten wurde inzwischen wieder aufgenommen, einzelne besonders risikoreiche Umgebungen erfordern jedoch weiterhin manuelle Prüfungen oder verbesserte Überwachung. Neu eingeführt wurde zudem ein in Echtzeit arbeitender Klassifizierer, der aggressives Testverhalten, Ausbruchsversuche aus der Sandbox sowie unerwarteten Internetzugriff erkennen und die entsprechende Aktion automatisch blockieren soll.

Teil einer breiteren Debatte um Kontrollverlust bei KI-Systemen

Die Vorfälle bei Anthropic folgten dabei auf einen ähnlichen, öffentlich bekannt gewordenen Vorfall bei OpenAI sowie auf einen vom britischen AI Security Institute im August dokumentierten Fall, bei dem sowohl OpenAI- als auch Anthropic-Modelle im Rahmen eines Cybersicherheitstests eine Angriffskampagne gegen reale Personen durchführten. Der Guardian hatte zudem bereits zuvor berichtet, dass die Zahl dokumentierter Fälle, in denen KI-Systeme der Kontrolle ihrer Nutzer entglitten, im Juli gegenüber dem Vormonat auf mehr als 300 nahezu verdoppelt sei. Anthropic, das sich derzeit auf einen möglichen Börsengang mit einer angestrebten Bewertung von bis zu 2 Billionen US-Dollar vorbereitet, bekräftigte in seinem Blogbeitrag zugleich die eigene Forderung nach abgestimmtem Vorgehen zwischen Regierungen und Industrie beim Tempo der KI-Entwicklung.

(red)