Laut den externen Prüfern verbessert Anthropic seine Modelle etwa doppelt so schnell wie früher, vor allem durch KI. Viele Belege bleiben geheim.
Fortschritt doppelt so schnell
METR: Anthropic schwärzt Großteil der Belege in KI-Bericht
Bildquelle: Tigarto/Shutterstock.com
Die gemeinnützige Organisation METR (Model Evaluation and Threat Research) hat eine unabhängige Bewertung der KI-Forschung und -Entwicklung bei Anthropic veröffentlicht. Forschende von METR arbeiteten dafür fast drei Monate in der Zentrale von Anthropic in San Francisco, führten Interviews mit Beschäftigten und werteten interne Daten aus dem Zeitraum von Mitte August bis Ende Oktober aus. Die öffentliche Fassung des Berichts ist jedoch stark gekürzt.
„Für die öffentliche Version hat Anthropic einen Großteil der Belege geschwärzt, die wir für am aussagekräftigsten hielten. Infolgedessen muss sich die Öffentlichkeit stärker auf unser Urteil verlassen, als wir es für ideal halten.”
METR
Der vollständige Bericht umfasst rund 100 Seiten. Laut METR verzichtete Anthropic zudem auf eine geplante Überprüfung der Verteilung von Rechenkapazitäten.
Fortschritt etwa doppelt so schnell
Inhaltlich kommt METR zu dem Ergebnis, dass Anthropic die Fähigkeiten seiner Modelle derzeit etwa doppelt so schnell verbessert wie in den 19 Monaten bis Oktober 2025. Gemessen wurde das anhand eines internen Index von Anthropic, der Fähigkeiten über mehrere Bereiche zusammenfasst. Einen stärkeren Anstieg der Rechenleistung für das Training schließt METR als Hauptursache aus.
Den Großteil der aktuellen Beschleunigung, schätzungsweise rund 80 Prozent, führt METR auf den Einsatz von KI in der eigenen Forschung zurück. Die Organisation betont, dass diese Einschätzung mit hoher Unsicherheit behaftet ist. Zudem kommt METR zu dem Schluss, dass der öffentliche Risikobericht von Anthropic vom August das Ausmaß der Beschleunigung unterschätzt habe.
Anthropic kündigt eigenen Bericht an
Anthropic-Mitgründer Sam McCandlish, der nach eigenen Angaben einen großen Teil der Sicherheitsarbeit des Unternehmens leitet, erklärte auf X, viele Schlussfolgerungen von METR deckten sich mit seinen eigenen. Anthropic habe viele Belege geschwärzt, weil sie geschäftlich sensibel seien und Wettbewerbern eine Art Fahrplan liefern könnten. Er räumte ein, dass dies eine Überprüfung der Arbeit von METR durch Dritte erschwere. Anthropic will in den kommenden Wochen einen eigenen Bericht zum Tempo seiner Entwicklung und zu seiner Einstufung nach der Responsible Scaling Policy veröffentlichen. Laut der Vereinbarung durfte Anthropic nicht öffentliche Informationen schwärzen.
Im überarbeiteten Börsenprospekt hatte Anthropic Anfang November erklärt, künftige Modelle könnten eine interne Schwelle für stark durch KI beschleunigten Fortschritt bald erreichen. Laut dem Prospekt stammte im September mehr als 90 Prozent des neu hinzugefügten Codes des Unternehmens von Claude. Der Börsengang an der Nasdaq wird für Mitte November erwartet.
(red)
