Wenn Claude heimlich die PC-Steuerung übernimmt

KI-Agenten wie Claude dienen als Hacker-Zentrale. Wie Schutzfilter per Mausklick umgangen werden.

Die Sicherheitsforscher der BeyondTrust Phantom Labs haben eine Analyse zur missbräuchlichen Verwendung von künstlicher Intelligenz veröffentlicht. Im Fokus steht die Architektur von sogenannten Computer Use Agents, die ursprünglich entwickelt wurden, um Nutzer bei alltäglichen Aufgaben am Desktop zu unterstützen. Die Untersuchung zeigt auf, wie diese Technologie als Grundlage für ein agentisches Command-and-Control-Framework (C2) dienen kann. Durch die Verknüpfung von Large Language Models (LLM) mit Werkzeugen zur Interaktion mit der grafischen Benutzeroberfläche eines Betriebssystems lassen sich Angriffe auf Endpunkte in einem bisher nicht gekannten Maße automatisieren.

KI-Agenten mit minimaler Rechtevergabe einsetzen

Die Funktionsweise dieser Systeme beruht auf einer kontinuierlichen Schleife. Der Agent empfängt einen Screenshot des aktuellen Bildschirms vom Zielrechner. Das KI- Modell analysiert daraufhin die Auflösung sowie die sichtbaren Elemente wie Schaltflächen oder Icons. Basierend auf dieser Analyse sendet das System Befehle zur Bewegung des Cursors oder zur Eingabe von Tastaturbefehlen an die Maschine zurück. Dieser Vorgang wiederholt sich autonom, bis ein vordefiniertes Ziel erreicht ist. Da diese Interaktionen das normale Verhalten eines menschlichen Nutzers imitieren, können sie für herkömmliche Sicherheitssysteme schwerer erkennbar sein als klassische skriptbasierte Angriffe.

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) beobachtet die Entwicklung von KI-Agenten kritisch. In aktuellen Einschätzungen warnt das BSI vor den erweiterten Rechten, die solche Anwendungen benötigen, um effektiv arbeiten zu können. Die Behörde betont, dass die digitale Souveränität gefährdet ist, wenn der Zugriff auf Systeme über automatisierte Schnittstellen ausländischer Anbieter erfolgt. Das BSI rät dazu, KI-Agenten nur in kontrollierten Umgebungen einzusetzen und den Grundsatz der minimalen Rechtevergabe konsequent anzuwenden. Besonders das Risiko einer Cyber-Dominanz, bei der Hersteller einen permanenten Zugriff auf Kundendaten behalten, steht im Zentrum der sicherheitspolitischen Bedenken.

Umgehung von ethischen KI-Schutzfiltern

Die Architektur des von BeyondTrust entwickelten Proof-of-Concept-Frameworks mit dem Namen Claude-and-Control nutzt zudem Cloud-Infrastrukturen zur Verschleierung. Als Übertragungsweg dienten im Test Azure Storage Blobs, die als eine Art toter Briefkasten fungierten. Der infizierte Rechner prüfte in regelmäßigen Abständen, ob neue Anweisungen in der Cloud hinterlegt wurden. Da die Kommunikation über vertrauenswürdige Microsoft-Domänen abläuft, bleibt der Netzwerkverkehr in vielen Unternehmensumgebungen unauffällig. Die API-Schlüssel für den Zugriff auf die KI wurden über Azure Function Apps bereitgestellt, um zu verhindern, dass sensible Zugangsdaten direkt auf dem kompromittierten Endpunkt gespeichert werden müssen.

Ein brisantes Ergebnis der Analyse betrifft die Umgehung von ethischen Schutzfiltern der KI. Die Forscher stellten fest, dass das Modell Claude direkte Anfragen zum Diebstahl von Passwörtern zunächst ablehnte. Als das Team die Anweisungen jedoch auf rein visuelle Klickbefehle umstellte, wurden die Sicherheitsbarrieren wirkungslos. Die KI wurde instruiert, auf bestimmte Icons zu klicken und Inhalte in ein Textdokument zu kopieren. Obwohl die internen Logdateien zeigten, dass das Modell den Kontext eines Passwort-Managers erkannte, führte es die rein technischen Anweisungen ohne Einwand aus. Dies verdeutlicht, dass visuell gesteuerte Instruktionen eine effektive Methode darstellen, um inhaltliche Sicherheitsprüfungen von LLMs zu umgehen.

„Bei der KI-Sicherheitsanalyse war für mich am aufschlussreichsten und wichtigsten, dass diese Systeme nicht zaubern können. Sie sind mächtige Werkzeuge, um die Effizienz dramatisch zu steigern können, aber verlassen sich immer noch auf Mechanismen, die Angreifer seit Jahren ausnutzen. Selbst wenn ein agentisches C2-Framework eine Maschine autonom steuert, bleibt die zugrundeliegende Telemetrie-KI unverändert. Letztlich hängt die Effektivität eines agentischen C2-Frameworks vom Betreiber ab. KI-Systeme können die Ausführung automatisieren, was aber nicht gleichbedeutend mit einer Erhöhung der operativen Sicherheit ist.“

Ryan Hausknecht, Senior Manager Research bei BeyondTrust Phantom Labs

KI-Agenten erfassen sensible Daten über Screenshots

Für die Verteidigung stellen diese agentischen Angriffe eine neue Herausforderung dar. Da die KI-Agenten Standard-APIs des Betriebssystems nutzen, wie etwa die SetCursorPos oder SendInput Funktionen in der User32.dll von Windows, werden oft keine Alarme durch gängige Endpoint Detection and Response Systeme (EDR) ausgelöst. Diese Funktionen sind legitime Bestandteile des Systems und werden von zahlreichen Anwendungen für die Benutzeroberfläche verwendet. Eine Erkennung erfordert daher ein tiefgreifendes Monitoring von API-Aufrufen und die Analyse von Prozessbeziehungen. Verdächtig ist beispielsweise, wenn ein unsignierter Prozess cmd.exe startet oder wenn ein Prozess ungewöhnlich häufig auf Grafik-Schnittstellen zugreift, um Screenshots zu erstellen.

Trotz der hohen Automatisierung gibt es technische Grenzen. Die Nutzung von KI-Agenten ist ressourcenintensiv und verursacht Kosten pro verarbeitetem Token. Zudem sind die Systeme nicht fehlerfrei. In den Tests kam es vor, dass die KI Icons verwechselte oder versehentlich Fenster schloss. Dennoch bietet der Einsatz von KI-Agenten für Hacker entscheidende Vorteile. Sie ermöglichen die Umgehung von Data Loss Prevention Systemen, da sensible Daten einfach über Screenshots erfasst werden können, anstatt Dateien über das Netzwerk zu kopieren. Auch die Interaktion mit Browser-Inhalten lässt sich so ohne das Hinterlassen von Spuren im Dateisystem realisieren.

Empfehlungen für Unternehmen

Zusammenfassend zeigt die Analyse, dass die Automatisierung durch KI die Geschwindigkeit und Effizienz von Hackerangriffen enorm steigern kann. Die zugrunde liegenden Angriffstechniken bleiben jedoch identifizierbar, wenn Sicherheitsteams den Fokus auf die Überwachung der genutzten System-Schnittstellen und die Integrität von Benutzer-Identitäten legen. Die Forschung von Phantom Labs unterstreicht die Notwendigkeit, KI-Sicherheitsstrategien nicht nur auf den Schutz vor schädlichen Inhalten, sondern auch auf die Überwachung der automatisierten Systemsteuerung zu erweitern. Das BSI und private Sicherheitsdienstleister betonen gleichermaßen, dass die Integration von KI in Unternehmensprozesse eine lückenlose Kontrolle aller Zugriffsrechte und eine proaktive Bedrohungserkennung voraussetzt. Die Entwicklung zeigt, dass klassische Abwehrmechanismen durch die visuelle Komponente der KI Angriffe ergänzt werden müssen.