Audio-Prompt-Injection: Sprachbots per Ton manipulierbar

Banken, Versicherungen und Händler setzen zunehmend KI-Sprachassistenten ein, die Anrufe annehmen und direkt mit Kunden sprechen. Der Sicherheitsanbieter Check Point warnt, dass sich solche Systeme über sogenannte Audio-Prompt-Injection manipulieren lassen. Dabei erreicht eine schädliche Anweisung das Modell nicht als Text, sondern als Ton.

Kein Transkript als Kontrollpunkt

Bislang waren die meisten Sprachassistenten als Kette aufgebaut: Sprache wurde in Text umgewandelt, ein Textmodell erstellte die Antwort, die anschließend wieder in Sprache übersetzt wurde. Das Transkript diente dabei als Stelle, an der Schutzmechanismen ansetzen konnten. Neuere Speech-to-Speech-Modelle verarbeiten die Audiodaten dagegen direkt. Gespräche werden dadurch schneller und natürlicher, die Kontrollstelle für textbasierte Prüfungen entfällt jedoch.

Laut Check Point zeigen Studien, dass Open-Source-Audiomodelle schädliche Fragen in mehr als zwei Dritteln der Fälle beantworteten. In einer anderen Untersuchung veränderten Forscher Geschwindigkeit, Tonhöhe und Hintergrundgeräusche so lange, bis ein führendes Echtzeit-Sprachmodell in etwa 70 Prozent der Fälle schädliche Antworten gab. Welche Studien und Modelle gemeint sind, nennt Check Point in der Mitteilung nicht.

Zwei Angriffswege

Angreifer können eine Anweisung direkt aussprechen, etwa indem ein Anrufer den Assistenten auffordert, seine bisherigen Vorgaben zu ignorieren. Prüft der Agent das nicht, behandelt er die Aufforderung wie jede andere Anfrage. Der zweite Weg besteht darin, den Ton so zu manipulieren, dass Maschinen ihn anders verstehen als Menschen. Forscher haben laut Check Point gezeigt, dass ein nur 0,64 Sekunden langer Clip vor einer Aufnahme ein verbreitetes Transkriptionsmodell dazu brachte, bei mehr als 97 Prozent der getesteten Aufnahmen gar keine Ausgabe zu liefern. Eine Prüfung, die nur das Transkript auswertet, sieht dann Stille oder Unsinn, während das Modell dahinter weiterhin die ursprünglichen Audiodaten erhält.

Je mehr Werkzeuge ein Sprachassistent nutzen darf, desto größer ist das Risiko. Ein Assistent, der Konten einsehen, Liefertermine ändern oder Rückerstattungen auslösen kann, setzt diese Rechte auch ein, wenn ihm ein Angreifer den Befehl dazu gibt.

„Nun werden nicht mehr nur Menschen durch Stimmen manipuliert, sondern auch KI-Modelle und deren Agenten.”
Patrick Fetter, Lead Sales Engineer bei Check Point

Zuerst das Signal, dann die Wörter

Check Point empfiehlt, Audiodaten in zwei Schritten zu prüfen. Zunächst wird untersucht, ob die Aufnahme manipuliert ist oder Elemente enthält, die sie für Maschinen unlesbar machen. Nur wenn sie diese Prüfung besteht, wird das Gesagte transkribiert und auf Angriffsversuche bewertet. Die Anwendung kann den Gesprächsabschnitt dann beenden, den Anrufer um Wiederholung bitten oder an einen Menschen übergeben.

(red/Check Point)