Formel soll Kipppunkt von KI-Modellen vorhersagen

Neil Johnson und Frank (Yingjie) Huo von der George Washington University haben ein mathematisches Modell entwickelt, das vorhersagen soll, wann ein Sprachmodell im Verlauf eines Gesprächs beginnt, unerwünschte Ausgaben zu erzeugen. Die Arbeit ist in der Fachzeitschrift Patterns des Verlags Cell Press erschienen.

Konkurrenz im Attention-Mechanismus

Im Mittelpunkt steht der Attention-Mechanismus von Transformer-Modellen. Er bestimmt, welche vorherigen Tokens für die Verarbeitung des aktuellen Tokens am wichtigsten sind, und legt damit die Grundlage für das nächste Token. Laut den Forschern konkurrieren dabei der bisherige Gesprächskontext und verschiedene mögliche Ausgaberichtungen miteinander. Der angesammelte Kontext kann die Aufmerksamkeit des Modells schrittweise in eine unerwünschte Richtung verschieben, bis ein Kipppunkt überschritten ist.

Da der Kontext vor allem durch die Eingaben der Nutzer entsteht, können sowohl unbedachte als auch gezielt manipulative Prompts das Kippen beschleunigen. Das kann sofort nach einer einzelnen Eingabe geschehen oder verzögert durch die Wirkung mehrerer Eingaben. Die Formel schätzt, wie viele unproblematische Ausgaben ein Modell erzeugt, bevor die erste unerwünschte folgt. Diese beeinflusst wiederum die folgenden Tokens.

Tests mit lokalen Open-Weight-Modellen

Die Forscher konzentrierten sich auf KI-Modelle, die lokal auf Endgeräten ohne Internetverbindung laufen. Solche Modelle haben keine Sicherheitsfilter in der Cloud, keine Überwachung in Echtzeit, und ihre Gewichte lassen sich nach der Auslieferung nicht mehr korrigieren. Getestet wurde die Formel an sieben Open-Weight-Modellen von drei unabhängigen Entwicklergruppen mit 124 Millionen bis 12 Milliarden Parametern. Die Ergebnisse stimmten laut den Forschern durchgängig mit den vorhergesagten Mustern für sofortiges und verzögertes Kippen überein. Geschlossene Modelle großer Anbieter wurden nicht getestet.

Ausbreitung zwischen KI-Agenten

Johnson warnte gegenüber SecurityWeek, dass ein gekippter KI-Agent seine unerwünschten Ausgaben an andere Agenten weitergeben könne. Das Kippen breite sich dann zwischen Agenten aus, die miteinander in Kontakt stehen, ohne dass ein Mensch beteiligt sein müsse.

Als Gegenmaßnahme schlagen die Forscher einen Frühwarnmechanismus vor.

„Eine einfache Warnleuchte, die innerhalb der KI platziert wird, bevor sie ihre nächste Ausgabe erzeugt. Das ist für KI-Unternehmen leicht einzubauen.“
Neil Johnson, Forscher der Washington University

In den Open-Source-Modellen in ihrem Labor hätten sie einen solchen Mechanismus bereits eingebaut, in die geschlossenen Modelle von Anbietern wie OpenAI und Anthropic könnten sie dagegen nicht eingreifen.

(red)