NIST, CISA und NSA: Leitfaden für KI-Agenten-Vorfälle

Die US-Behörden haben einen gemeinsamen Leitfaden zum Umgang mit Vorfällen veröffentlicht, bei denen KI-Agenten unerwartet oder schädlich handeln. Das Dokument trägt den Titel „Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation” und richtet sich vor allem an Entwickler von Frontier-Modellen. Statt von künstlicher Intelligenz spricht es von Superintelligenz (SI). Damit folgt es einer Anordnung von US-Präsident Donald Trump, die Bundesbehörden zur Verwendung dieses Begriffs verpflichtet.

„Die Praktiken sollen der Frontier-SI-Branche helfen, Vorfälle zu verhindern, sich darauf vorzubereiten und schnell darauf zu reagieren, bei denen SI-Systeme nicht wie beabsichtigt oder autorisiert handeln.”
NIST, CISA und NSA

Die Praktiken sind freiwillig.

NIST, CISA, NSA: Zehn Praktiken in fünf Phasen

Der Leitfaden gliedert zehn Praktiken in fünf Phasen: Vorbereitung, Erkennung, Reaktion, Wiederherstellung und Meldung. Zudem definiert er die Begriffe KI-Agent, AI Control Incident, also einen Vorfall, bei dem die Kontrolle über ein KI-System versagt, und AI Control Near-Miss für einen Beinahe-Vorfall.

Zur Vorbereitung gehören eine Bestandsaufnahme von Systemen und Risiken, mehrstufige Schutzmaßnahmen, minimale Berechtigungen, Zero-Trust-Kontrollen, die Verwaltung von Zugangsdaten und das Management von Risiken in der Lieferkette. Für die Erkennung sollen Organisationen das Verhalten der Systeme laufend auf Abweichungen und Anzeichen einer Kompromittierung überwachen.

Ursachen über die Schwachstelle hinaus prüfen

Im Ernstfall sollen betroffene Systeme isoliert, Zugangsdaten widerrufen und kompromittierte Umgebungen neu aufgebaut werden. Zudem gilt es, das Ausmaß des Schadens zu bestimmen und die Ursachen über die konkret ausgenutzte Schwachstelle hinaus zu analysieren. Für die Wiederherstellung sollen Verfahren vorab getestet und Entscheidungen samt bewusst akzeptierter Restrisiken dokumentiert werden.

Meldung an Behörden und Öffentlichkeit

Die beiden letzten Praktiken betreffen die Meldung. Organisationen sollen gesetzliche Meldepflichten einhalten, etwa gegenüber der CISA, Strafverfolgungs- oder Cyberabwehrbehörden. Darüber hinaus sollen sie Details zu Vorfällen so früh wie möglich öffentlich machen und Erkenntnisse sowie ergriffene Verbesserungen teilen, die anderen in der Branche nützen können.

Der Leitfaden erscheint, nachdem OpenAI und Anthropic in den vergangenen Wochen mehrere Vorfälle offengelegt haben, bei denen KI-Modelle in Tests und Training unerlaubt auf fremde Systeme und Behördenwebsites zugriffen. Die US-Regierung hatte zuvor erklärt, KI-Unternehmen müssten Sicherheitsvorfälle melden und beheben.

(red)