Rücktritt bei Anthropic: Sicherheitsforscher warnt vor unkontrollierbarer KI

Ein KI-Forscher verlässt Anthropic aus Sorge vor rekursiver Selbstverbesserung und einem drohenden Kontrollverlust über autonome Systeme.

Der Anthropic-Forscher Jacob Coxon, der auf das Training neuer KI-Modelle spezialisiert ist, hat seinen Rücktritt angekündigt und kehrt der KI-Branche den Rücken. Als Grund nennt er das branchenweite Wettrennen um die Entwicklung sich selbst verbessernder Systeme (Recursive Self-Improvement), das aus seiner Sicht zunehmend außer Kontrolle gerät. In einem Thread auf X sagte er:

Sie rasen direkt auf selbstverbessernde Superintelligenz zu und setzen dabei unser aller Leben aufs Spiel.

Anthropic-Forscher Jacob Coxon

Dramatische Worte

• Angst vor Kontrollverlust: Coxon warnt davor, dass der kommerzielle Wettbewerb die führenden KI-Labore dazu drängt, Modelle zu bauen, die sich autonom optimieren. Solche Systeme könnten sich letztlich der menschlichen Steuerung entziehen. Nach eigener Einschätzung könnte diese Entwicklung schneller eintreten als gedacht: „Wir bewegen uns auf einige der aggressivsten Szenarien zu, bei denen bis Ende nächsten Jahres bereits alles außer Kontrolle geraten sein könnte.“
• Existenzielle Risiken: Der Forscher betont, er wolle sich nicht an einer Entwicklung beteiligen, die potenziell existenzielle Gefahren für die Menschheit birgt. Er geht davon aus, dass diese Sorge in der Branche weiter verbreitet ist, als öffentlich zugegeben wird: „Die Menschen, die KI entwickeln, glauben ernsthaft, dass sie uns alle noch vor Ende des Jahrzehnts umbringen könnte.“
• Spannungsfeld im KI-Labor: Der Fall verdeutlicht die wachsenden internen Konflikte bei Sicherheits-orientierten Anbietern. Obwohl Anthropic-CEO Dario Amodei öffentlich regelmäßig vor den Risiken außer Kontrolle geratener Modelle warnt, empfinden Fachkräfte das aktuelle Entwicklungstempo im Konkurrenzkampf mit Anbietern wie OpenAI oder Google als zu hoch. Coxon selbst hatte drei Jahre lang im Pretraining-Bereich sowohl bei OpenAI als auch bei Anthropic gearbeitet und zieht ein ernüchterndes Fazit: „Keines der beiden Unternehmen handelt verantwortungsvoll.“

Ob Coxons Warnung tatsächlich zu einer branchenweiten Kurskorrektur führt oder als Einzelstimme verhallt, wird sich erst in den kommenden Monaten zeigen. Insbesondere vor dem Hintergrund von Anthropics bevorstehendem Börsengang dürfte die Frage, wie ernst es das Unternehmen mit seinem Sicherheitsversprechen tatsächlich meint, weiter an Bedeutung gewinnen.

(red)