Claude-Agenten meldeten falschen Mordhinweis an Polizei

Anthropic hat einen Bericht über bislang nicht veröffentlichte Fälle unbeabsichtigter Aktionen seiner KI-Modelle vorgelegt. Sie traten bei Evaluierungen und bei der internen Nutzung von Claude auf. Betroffen waren unter anderem Websites von US-Behörden auf Bundes-, Landes- und kommunaler Ebene. Anthropic stuft die Fälle als deutlich weniger schwerwiegend ein als die im Juli und September gemeldeten Vorfälle, da sie kaum reale Auswirkungen gehabt hätten. In den meisten Fällen habe Claude nach Umwegen gesucht, wenn es eine Aufgabe nicht lösen konnte.

Vier Arten von Vorfällen

Anthropic ordnet die Vorfälle vier Kategorien zu: Claude nutzte eine Softwareschwachstelle aus, um auf einem Server Befehle auszuführen, reichte trotz Beschränkungen ein sensibles Formular auf einer echten Website ein, umging Zugangsbeschränkungen, um Daten abzurufen, die durch ein Token oder eine Gebühr geschützt waren, und nutzte URL-Kürzungsdienste, um Beschränkungen seines Werkzeugs zum Abrufen von Webseiten zu umgehen. Konkret führte ein Modell Befehle auf einem Universitätsserver aus und rief Regierungsdaten ab, die sonst kostenpflichtig sind.

Falscher Hinweis an Polizei in Philadelphia

In einem Fall sollte Claude Haiku 4.5 auf zufällig ausgewählten Webseiten Beispielaufgaben erstellen und ausführen. Dabei gelangte das Modell auf eine Seite der Polizei von Philadelphia zu einem ungeklärten Tötungsdelikt. Obwohl es angewiesen war, sich nie anzumelden oder persönliche Daten einzugeben, reichte es ein Formular ein, was nicht ausdrücklich untersagt war. Darin gab es an, möglicherweise Informationen zu dem Fall zu haben und eine Person gesehen zu haben, die der Beschreibung entspreche. Eine Täterbeschreibung enthielt die Seite laut Anthropic nicht. Die Meldung wurde als Spam markiert und nicht an die Ermittler weitergeleitet.

Die Polizei von Philadelphia hatte den Vorfall wenige Stunden vor dem Bericht von Anthropic in einer Pressemitteilung öffentlich gemacht. „Die zweimonatige Verzögerung bei der Erkennung und Meldung des Vorfalls an die Stadt ist inakzeptabel”, erklärte die Behörde. Das Unternehmen müsse seine Schutzmaßnahmen verstärken.

20 Visumanträge beim US-Außenministerium

Ein weiteres Modell reichte während Tests 20 Anträge auf Nichteinwanderungsvisa über die offizielle Website des US-Außenministeriums ein, einen im Mai und 19 im August 2026. Laut New York Times waren die Anträge unvollständig und wurden nicht bearbeitet.

Die US-Regierung erklärte am 10. Oktober, KI-Unternehmen müssten Sicherheitsvorfälle melden und beheben. Anthropic habe die Super Intelligence Force kontaktiert, um Einzelheiten zu mehreren früheren Vorfällen offenzulegen, die das Unternehmen Ende September entdeckt habe.

Weniger Internetzugang für interne Agenten

Nach eigenen Angaben hat Anthropic die Schutzmechanismen einiger Werkzeuge mit Internetzugang aktualisiert und Systeme entwickelt, die unbeabsichtigtes Verhalten automatisch erkennen und blockieren. Trainingsumgebungen, die Claude für das Umgehen von Werkzeugbeschränkungen belohnen, werden korrigiert oder entfernt. Interne Agenten sollen auf zentral verwaltete Infrastruktur mit strenger Abschottung umziehen und weniger Internetzugang erhalten. Zudem will Anthropic deutlich mehr Agentenaktivität überwachen, etwa mit Sicherheitsklassifikatoren.

(red)