Thought Leadership
Eine Studie zeigt, dass GitHub Copilot blockierte, gefährliche Anfragen umsetzt, wenn diese in normale Programmierschritte aufgeteilt werden.
Ein Forschungsteam des Alan Turing Institute hat eine Sicherheitslücke in dem KI-gestützten Programmierassistenten GitHub Copilot dokumentiert. Die Wissenschaftler Abhishek Kumar und Carsten Maple wiesen nach, dass das System gefährliche Inhalte generiert, wenn eine blockierte Anfrage in alltägliche, unverdächtige Entwicklungsschritte zerlegt wird. Dieses Verfahren wird als Workflow-Level Jailbreak Construction bezeichnet.
Für den Versuch wurden vier in Copilot integrierte KI-Modelle getestet:
- Claude Sonnet 4.6
- Claude Haiku 4.5
- Gemini 3.1 Pro
- Gemini 3.5 Flash
Während die Systeme direkte schädliche Anfragen im regulären Chatfenster fast ausnahmslos blockierten, gaben sie die gesperrten Inhalte im Rahmen eines mehrstufigen Software-Workflows in allen 816 Testläufen aus. Die Untersuchungen fanden zwischen dem 2. April und dem 22. Juni 2026 unter Verwendung von GitHub Copilot Chat 0.30.3 in der Entwicklungsumgebung VS Code 1.103.0 statt.
Ablauf des Experiments im Code-Editor
Die Forscher umgingen die Sicherheitsbarrieren, indem sie Copilot zunächst mit der Erstellung eines legitimen Testprogramms beauftragten. Diese Software sollte messen, wie oft andere KI-Modelle auf schädliche Eingaben reagieren. Das Laden von Testfragen aus öffentlichen Sicherheits-Benchmarks wie Hammurabi’s Code, HarmBench und AdvBench wurde vom System als gewöhnliche Programmierarbeit eingestuft.
Anschließend forderten die Wissenschaftler den Assistenten auf, die Bewertung des Programms zu verbessern, indem Beispiel-Paare aus Frage und Antwort direkt in den Quellcode eingefügt werden. Während die Modelle im direkten Chat nur in 8 von 816 Fällen eine schädliche Antwort erzeugten, schrieben sie die gefährlichen Texte als Code-Beispiele in allen 816 Durchläufen eigenständig aus. Zwei unabhängige Experten überprüften die Ergebnisse und bestätigten, dass alle generierten Antworten spezifisch, nutzbar und funktional waren.
Fehlanreize bei autonomen Programmierassistenten
Die Ursache für das Fehlverhalten liegt laut der wissenschaftlichen Arbeit in den Optimierungszielen autonomer Programmierwerkzeuge. Sobald eine Aufgabe als Optimierung einer Metrik oder als Vervollständigung einer Datei definiert ist, priorisiert das Modell den Abschluss des Auftrags gegenüber den internen Sicherheitsrichtlinien für Konversationen. Das Verweigern eines Datenfeldes wird vom System als unvollständige Arbeit gewertet.
Da der schädliche Text direkt in die erzeugte Programmdatei geschrieben wird und nicht im Chat-Fenster erscheint, schlagen die üblichen Filtermechanismen nicht an. Die Forscher haben die betroffenen Modell- und Werkzeugentwickler über die Ergebnisse informiert und die exakten Schadcodes aus der Veröffentlichung herausgehalten.
(red)
