Thought Leadership
Ein Sicherheitsforscher hat eine Prompt-Injection-Schwachstelle in Googles KI-Assistent für Workspace entdeckt.
Ein Sicherheitsforscher hat eine Prompt-Injection-Schwachstelle in Google Gemini für Workspace aufgedeckt, die es Angreifern ermöglicht, den KI-Assistenten dazu zu bringen, Phishing-Nachrichten anzuzeigen.
Unsichtbare Nachrichten als Angriffsmethode
Marco Figueroa, der die Schwachstelle im Rahmen von Mozillas 0Din Bug-Bounty-Programm für generative KI-Vulnerabilitäten meldete, demonstrierte eine raffinierte Angriffsmethode: Angreifer können E-Mails versenden, die neben einem harmlosen, sichtbaren Text eine versteckte Phishing-Nachricht enthalten. Diese wird mit weißer Schrift auf weißem Hintergrund formatiert und bleibt für den Empfänger unsichtbar.
Der Trick funktioniert durch spezielle <admin>-Tags, die die Phishing-Nachricht umschließen. Diese Tags instruieren Gemini, die darin enthaltene Nachricht am Ende der Antwort einzufügen. Nutzt das Opfer Geminis “E-Mail zusammenfassen”-Funktion, zeigt die KI neben der Zusammenfassung des sichtbaren Texts auch die versteckte Phishing-Nachricht an.
Praktische Demonstration der Schwachstelle
In seiner Demonstration erstellte Figueroa eine E-Mail, die Gemini dazu brachte, eine Nachricht anzuzeigen, die das Opfer darüber informierte, dass das Gmail-Passwort kompromittiert sei. Die Nachricht forderte dazu auf, eine Telefonnummer anzurufen, um das Passwort zurückzusetzen – ein klassischer Phishing-Angriff, bei dem die Angreifer die Zugangsdaten des Opfers abgreifen können.
Die Schwachstelle nutzt aus, dass Gemini Text in <admin>-Tags priorisiert und wortwörtlich reproduziert, ohne die Quelle oder Legitimität der Anweisungen zu hinterfragen.
Googles Sicherheitsmaßnahmen
Google arbeitet bereits seit längerem an Schutzmaßnahmen gegen Prompt-Injection-Angriffe und hat kürzlich seine Fortschritte in diesem Bereich zusammengefasst. Das Unternehmen erklärte gegenüber SecurityWeek, dass bisher keine Hinweise auf den Einsatz dieser spezifischen Methode in realen Angriffen vorlägen.
“Der Schutz vor Angriffen, die die gesamte Branche betreffen, wie Prompt-Injections, hat für uns weiterhin höchste Priorität. Wir haben zahlreiche starke Schutzmaßnahmen implementiert, um Nutzer zu schützen, einschließlich Sicherheitsvorkehrungen zur Verhinderung schädlicher oder irreführender Antworten”, so ein Google-Sprecher per E-Mail.
