Thought Leadership
Eine Untersuchung von Cisco deckt gravierende Mängel bei der automatischen Erstellung von technischen Berichten zu IT-Sicherheitsvorfällen durch KI auf.
Das US-amerikanische Cybersicherheitsunternehmen Cisco hat die Fähigkeiten moderner Systeme der künstlichen Intelligenz bei der Erstellung detaillierter technischer Berichte untersucht. Anlass für die Testreihe des Talos Incident Response Teams waren die jüngsten Veröffentlichungen spezialisierter KI-Modelle durch führende Entwickler wie Anthropic und OpenAI. Diese Modelle, darunter Versionen wie Claude Mythos und GPT-5.4-Cyber, werden im Frühjahr 2026 gezielt für den Einsatz im Cybersicherheitssektor vermarktet und sollen in der Lage sein, tausende von kritischen Softwarefehlern autonom zu identifizieren.
Die Erprobung durch die Incident-Response-Spezialisten von Cisco zeigt jedoch, dass das automatische Generieren von präzisen technischen Dokumentationen eine erhebliche Fehlerquelle darstellt. Während die Identifizierung von Schwachstellen durch Algorithmen Fortschritte macht, erweist sich die automatisierte Aufbereitung der Vorfälle für Verteidiger als unzuverlässig und potenziell risikoreich.
Optische Polierung kaschiert inhaltliche Mängel
Nate Pors, ein leitender Incident Commander bei Cisco Talos, dokumentierte die Ergebnisse im Rahmen einer simulierten Krisenübung. Das Team fütterte verschiedene große Sprachmodelle, darunter ChatGPT, Claude und Gemini, mit unstrukturierten Rohdaten und Notizen eines realitätsnahen Sicherheitsvorfalls. Die Aufgabe der KI-Systeme bestand darin, daraus einen formellen, technischen Abschlussbericht zu generieren.
Die Auswertung ergab ein konsistentes Fehlerbild über die verschiedenen Plattformen hinweg. Die erzeugten Dokumente wiesen zwar eine sprachlich geschliffene und professionelle Oberflächenstruktur auf, enthielten jedoch tiefgreifende sachliche Ungenauigkeiten. Zudem neigten die Modelle zu ungewöhnlichen Schlussfolgerungen und wechselnden Schreibstilen innerhalb desselben Dokuments. Cisco betont, dass die vermeintlichen Effizienzgewinne, die durch den automatisierten Schreibprozess versprochen werden, in der Praxis durch den notwendigen Korrekturaufwand oft vollständig verloren gehen.
Vier zentrale Schwachstellen der algorithmischen Berichterstattung
Die Analyse von Cisco Talos identifiziert vier Kernbereiche, in denen die probabilistische Funktionsweise von großen Sprachmodellen die Qualitätsanforderungen im professionellen IT-Sicherheitsmanagement verfehlt. Der erste Mangel betrifft die mangelnde Konsistenz bei identischen Datenabfragen. Die Modelle greifen bei wiederholten Eingaben auf unterschiedliche interne Gewichtungen zurück, was standardisierte und reproduzierbare Untersuchungsergebnisse unmöglich macht. Zweitens ziehen die Systeme aus demselben Datenmaterial widersprüchliche logische Schlüsse. In den Testläufen empfahl die KI bei einem identischen Ausgangsszenario in einem Fall das sofortige Zurücksetzen aller Passwörter im gesamten Unternehmensnetzwerk, während sie in einem anderen Durchlauf zu einer lokal begrenzten Änderung riet. Dabei tendierte das System dazu, willkürlich derjenigen Empfehlung den Vorzug zu geben, die im Textverlauf zuerst generiert wurde.
Der dritte Schwachpunkt liegt in den strukturellen Abweichungen des Dokumentenaufbaus. Da die Textgenerierung Wort für Wort auf Basis von Wahrscheinlichkeiten erfolgt, verändert sich das Layout bei jedem Durchgang. Für professionelle IT-Abteilungen, die auf einheitliche Berichtsstrukturen, standardisierte Management-Zusammenfassungen und präzise Handlungsempfehlungen für die Qualitätskontrolle angewiesen sind, ist diese Varianz nicht tragbar. Viertens führt die begrenzte Kapazität des sogenannten Kontextfensters dazu, dass die Modelle wichtige Informationen aus den Anfangsphasen einer Untersuchung einfach verwerfen, sobald das Datenvolumen das Limit überschreitet. Zudem tritt das Phänomen der Kontextverschmutzung auf, bei dem das System unterschiedliche Informationsstränge fälschlicherweise miteinander vermischt und unvorhersehbare Resultate liefert.
Wirtschaftliche Risiken und das Erfordernis menschlicher Kontrolle
Die Fehleranfälligkeit automatisierter Berichte birgt im Ernstfall erhebliche finanzielle und operative Gefahren für betroffene Organisationen. Wenn ein Unternehmen versucht, einen aktiven Cyberangriff einzudämmen und die eigenen Netzwerke zu bereinigen, können fehlerhafte oder irrelevante Handlungsempfehlungen der KI die Reaktionszeit drastisch verlängern.
Eine theoretische Lösung, bei der die Modelle mit extrem kleinteiligen und eng gefassten Einzelanweisungen für minimale Textabschnitte gesteuert werden, hebt den Geschwindigkeitsvorteil der Technologie laut Cisco wieder auf. Die manuelle Aufteilung und anschließende Überprüfung erfordert mehr Zeit als das eigenständige Verfassen des Berichts durch einen menschlichen Experten. Cisco warnt daher eindringlich vor einer ungeprüften Übernahme KI-generierter Dokumente. Menschliche Sicherheitsanalysten müssen jede Empfehlung verifizieren und die inhaltliche Verantwortung für jedes Wort des finalen Berichts übernehmen.
Auswirkungen fehlgeleiteter KI-Assistenz in der Praxis
Wie gefährlich das Vertrauen in automatisierte Sicherheitsassistenten sein kann, zeigt ein von Cisco angeführter Vorfall aus der Praxis. Ein Linux-Systemadministrator vermutete eine Anomalie auf einem seiner Server und delegierte die Untersuchung sowie die anschließende Behebung des Problems an einen spezialisierten KI-Agenten auf Basis von OpenAIs Codex-Modell.
Der digitale Assistent war jedoch nicht in der Lage, adäquat auf den Vorfall zu reagieren. Anstatt die Bedrohung zu isolieren, verschleierte die KI die aktiven Angriffsaktivitäten im Systemprotokoll und erschwerte durch fehlerhafte Abhilfemaßnahmen die anschließende forensische Untersuchung der menschlichen IT-Experten erheblich. Dieser Fall unterstreicht die fundamentale Grenze der aktuellen Technologie im Bereich der kritischen IT-Infrastruktur.
