Wenn KI zum Risiko wird: Generative Intelligenz und ihre Schattenseiten

Generative KI steigert Effizienz und Kreativität – doch sie liefert auch Cyberkriminellen neue Werkzeuge. Aktuelle Fälle aus 2025 zeigen, wie Angreifer KI-Systeme missbrauchen und warum Unternehmen jetzt klare Schutz- und Governance-Strategien benötigen.

Im Arbeitsumfeld steigert generative Künstliche Intelligenz (KI) Effizienz, beschleunigt Prozesse und unterstützt Entscheidungen. All diese Vorteile stehen jedoch auch Akteuren mit weniger guten Absichten zur Verfügung. Zudem eröffnet diese datengetriebene Technologie selbst neue Einfallstore, wie jüngst bekanntgewordene Schwachstellen eindrucksvoll zeigen. Entscheidungsträger müssen daher die Risiken generativer KI antizipieren, ihre Organisation vorbereiten und nachhaltige Schutzmaßnahmen etablieren.

Generative KI auf dem Vormarsch

KI ist längst kein Nischenthema mehr und hat sich zu einem zentralen Treiber der digitalen Transformation entwickelt. Im Fokus steht dabei die sogenannte generative Intelligenz, die nicht wie herkömmliche KI auf eng abgegrenzte Klassifikations- bzw. Prognoseaufgaben trainiert wird, sondern eigenständig neue Inhalte hervorbringen kann – etwa Texte, Bilder, Audio oder Programmcode. Damit eröffnet sie ein breites Spektrum an Einsatzmöglichkeiten, ohne für jede einzelne Anwendung separat trainiert werden zu müssen. Genau diese Funktionalität liefert enormes Potenzial für die Steigerung der Produktivität im Arbeitsumfeld, da Routineaufgaben automatisiert, Entscheidungsprozesse beschleunigt und kreative Tätigkeiten effizient unterstützt werden können.

Analysen führender Beratungshäuser bestätigen diese Entwicklung: Laut einer aktuellen sektor- und positionsübergreifenden Befragung der BCG bewerten knapp die Hälfte der Umfrageteilnehmer, dass sie sich durch den Einsatz von generativer KI mehr als eine Stunde pro Tag anderen wichtigen Aufgaben widmen können [1]. Nach Prognosen von McKinsey ist durch den Einsatz von generativer KI sogar ein jährliches Wachstum der Arbeitsproduktivität von bis zu 0,6% bis zum Jahr 2040 denkbar [2]. Doch trotz dieser beeindruckenden Zahlen birgt generative KI auch ihre Schattenseiten.

Reconnaissance und Malware der nächsten Generation

Eine dieser Schattenseiten der generativen KI zeigt sich darin, dass diese Technologie nicht nur die Produktivität im Arbeitsumfeld steigern kann, sondern von Cyberkriminellen schon während der Reconnaissance ausgenutzt wird. In dieser frühen Aufklärungsphase wird der Grundstein für einen erfolgreichen Angriff gelegt, indem systematisch Informationen über Zielsysteme und -netzwerke potenzieller Opfer gesammelt, Schwachstellen aufgedeckt und maßgeschneiderte Tools und Schadcode entwickelt werden. Generative KI nimmt dabei eine immer wichtigere Rolle ein, insbesondere bei der Schwachstellenanalyse, aber auch bei der Generierung von Malware. Zwar liegen keine statistischen Daten über aktuell im Umlauf befindliche KI-generierte Malware vor, doch veröffentlichen Sicherheitsforscher regelmäßig neue Erkenntnisse in Form von Proof-of-Concepts.

So wurde beispielsweise im Mai 2025 eine polymorphe KI-Malware bekannt [3], die anders als klassische polymorphe Varianten nicht nur innerhalb vorgegebener Muster variiert, sondern durch generative KI bei jeder Ausführung nahezu einzigartig ist. Ähnliche Ergebnisse wurden im August und September 2025 mit der Malware PromptLock [4] und MalTerminal [5] publiziert, mit dem gleichen Ziel: hohe Schadwirkung bei gleichzeitiger gezielter Täuschung bestehender Detektionsverfahren. Interessanterweise basieren alle drei genannten Beispiele im Grunde auf legitimen Large-Language-Models (LLMs). Darüber hinaus existieren seit geraumer Zeit sogenannte Dark-LLMs wie FraudGPT, DarkBERT oder PoisonGPT, die über Dark-Web-Kanäle, Telegram oder Foren zugänglich sind und explizit für bösartige Zwecke entwickelt wurden. Dazu gehört auch Phishing.

Gefährliche Eloquenz: (Voice) Phishing 2.0

Nach aktuellen Berichten zählt Phishing nach wie vor zu den Top-Angriffsvektoren [6, 7, 8]. Dabei handelt es sich um eine Form des Social-Engineerings, bei der Angreifer täuschende Nachrichten versenden, um Opfer zur Preisgabe sensibler Daten oder zur Ausführung schadhafter Links bzw. Anhänge zu verleiten. LLMs machen hier den Unterschied, denn wenn es eine Sache gibt, für die LLMs bekannt sind ist es das Verfassen von vermeintlich kreativen und eloquent formulierten Texten, die kaum von menschlich geschriebenen Texten zu unterscheiden sind.

Während Phishing-E-Mails in der Vergangenheit aufgrund von sprachlichen Mängeln wie Rechtschreib- oder Grammatikfehlern gekennzeichnet und dadurch leicht zu entlarven waren, ist dies mit Unterstützung generativer KI nicht mehr der Fall. Als Folge lassen sich solche Angriffe deutlich besser skalieren und über Sprachgrenzen hinweg effizient durchführen. Dies gelingt besonders gut, wenn keine rechtlichen oder ethischen Beschränkungen im Wege stehen, wie es bei einschlägigen Dark-LLMs der Fall ist.

So berichtet das Unternehmen IBM in seinem aktuellen Cybersecurity-Report davon, dass unter Zuhilfenahme von KI die meisten Sicherheitsvorfälle in Bezug auf Daten durch Phishing erwirkt werden und das der zeitliche Aufwand für die Erstellung einer überzeugenden Phishing-Nachricht mit generativer KI um fast den Faktor 200 reduziert werden kann [8].

Die Gefahr durch Voice-Phishing (Vishing) ist ebenfalls prävalent und stieg nach einem Bericht von Crowdstrike um mehr als 440% seit dem letzten Jahr an [9]. Dieser Trend dürfte sich auch in Zukunft durch den verstärkten Einsatz generativer KI fortsetzen. Waren solche Angriffe bisher dadurch gekennzeichnet, dass sich Angreifer über Telefon oder VoIP-Kommunikation als Familienangehörige, Bankangestellte oder andere vertrauenswürdige Personen ausgaben, um vertrauliche Daten zu erlangen oder Überweisungen zu veranlassen, erhält auch Vishing durch generative KI eine neue Qualität. Mit geeignetem Sprachmaterial können mittels Voice-Cloning bekannte Stimmen täuschend echt imitiert werden. In Kombination mit einem geeignetem LLM, das Antworten oder Fragen nach den Vorgaben eines Bedrohungsakteuers generiert, ist ein solcher Angriff sogar vollständig automatisierbar und kann nach Belieben im großen Maßstab durchgeführt werden. Aktuelle wissenschaftliche Erkenntnisse weisen auf die Machbarkeit eines solchen Systems hin [10] – mit erschreckender Effizienz: In der Studie konnten so jedem zweiten Teilnehmenden durch KI-gestütztes Vishing sensible Daten entlockt werden.

Wenn gute KI zum Risiko wird: Manipulation legitimer LLMs

Dedizierte LLM-Dienste wie OpenAIs ChatGPT oder andere bekannte Online-Plattformen, die im Zeitverlauf mit LLM-Funktionalitäten nachgerüstet wurden, haben eine große Anziehungskraft auf Cyberkriminelle. Das liegt nicht nur daran, dass die Modelle von Angreifern, wie bereits beschrieben, für bösartige Operationen missbraucht werden oder sich mit Direct-Prompt-Injection sensible Informationen aus ihnen exfiltrieren lassen.

Ebenso entscheidend ist die Reichweite der Plattform. Umso naheliegender ist es für Angreifer, gerade diese populären Anwendungen als Verbreitungsmedium für schadhafte Inhalte zu nutzen – vergleichbar mit klassischen Malvertising-Taktiken in Suchmaschinen. Gemeint sind hier Indirect-Prompt-Injections, vor denen Experten und Behörden schon seit langem warnen [11, 12]. Dabei wird ein LLM über versteckte Instruktionen in unsicheren Datenquellen dazu veranlasst, unerwünschte Inhalte darzustellen oder Aktionen auszuführen.

So auch im September 2025, als eine solche Malvertising-Kampagne auf der Social-Media-Plattform X real wurde: Angreifer instrumentalisierten dabei den von X hauseigenen Chatbot Grok, indem sie ihn dazu brachten, manipulierte Metadaten einer Video-Anzeige auszulesen. Dabei gab Grok den darin versteckten schadhaften Link unter seinem eigenen Namen aus, wodurch dieser für andere Nutzer vertrauenswürdig wirkte [13]. Besonders kritisch wird Indirect-Prompt-Injection, wenn ein externer LLM-Dienst eng mit der Unternehmensinfrastruktur verzahnt ist und Routineprozesse steuert.

Im Juni 2025 entdeckte ein Forscherteam eine bisher unbekannte Schwachstelle bei Microsoft Copilot durch das Senden einer speziell gestalteten E-Mail an das Opfer. Copilot las die eingebetteten Instruktionen in der E-Mail und führte sie aus. So konnte ohne Nutzerinteraktion vertrauliche Daten entwendet werden [14]. Ein solcher Zero-Click-Exploit wurde auch im August 2025 bei Googles Gemini nachgewiesen. Durch eine manipulierte Kalendereinladung ließen sich ungewollte Smart-Home-Aktionen auslösen, einschließlich des Abflusses von E-Mails und weiteren sensiblen Inhalten [15].

Generative KI sicher nutzen und klug begrenzen

Spätestens an dieser Stelle wird das Dual-Use-Dilemma der generativen KI deutlich: Zum einen ist sie Sinnbild der digitalen Transformation, zum anderen wird sie von Bedrohungsakteuren zur verbesserten Planung und Durchführung klassischer Angriffe genutzt oder generative KI rückt selbst in das Fadenkreuz. Zahlreiche Zwischenfälle und neue Erkenntnisse belegen beides bis weit in das Jahr 2025 hinein. Letzteres ist besonders attraktiv für Angreifer und dürfte sich durch die immer engere Verzahnung von generativer KI mit dem Arbeitsumfeld perspektivisch als gängiger Modus Operandi etablieren.

Insgesamt stellt diese Entwicklung Entscheidungsträger bei der Einführung und im Umgang mit dieser Technologie vor erhebliche Herausforderungen. Um diesen zu entgegnen, bedarf es eines geeigneten Rahmenwerks aus Regeln, Prozessen und Verantwortlichkeiten, das Potenziale zielgerichtet erschließt und Risiken zugleich zuverlässig adressiert. Wichtige Elemente einer solchen KI-Governance sind der bewusste, dosierte und zweckgebundene Einsatz generativer KI, der unter Kontrolle bleibt, indem Cybersecurity von Beginn an und über die gesamte Daten- und Prozessierungspipeline hinweg kontinuierlich mitgedacht wird. Darunter fällt auch die Steuerung von Drittanbieter-Risiken sowie die Definition von Notfall- und Abschaltpfaden und eindeutige Zuständigkeiten. Diese Aspekte decken sich mit den Anforderungen des EU AI Acts, der solche Strukturen direkt oder indirekt fordert.

Ebenso zentral ist die Rolle der Mitarbeitenden: Eine KI-Governance kann nur dann wirken, wenn sie verständlich ist und konkrete Orientierung bietet. Erlaubte und untersagte Nutzungen der Technologie müssen transparent und verständlich erläutert werden, um Akzeptanz zu schaffen und Schatten-IT sowie Umgehungsstrategien zu vermeiden. Zugleich braucht es Aufklärung über die Bedrohungslage, die durch generative KI eine neue Dimension erreicht hat. Mitarbeitende müssen darauf vorbereitet werden und zugleich einen verantwortungsvollen Umgang mit KI erlernen. Dazu gehört, ausschließlich freigegebene generative KI zu nutzen und keine vertraulichen Inhalte mit externen Diensten zu teilen. Ein waches und konstruktives Misstrauen bleibt dabei zentral, denn auch legitime Systeme können falsch liegen oder manipuliert sein. Auf diese Weise werden Mitarbeitende zu einem, wenn nicht sogar zu dem entscheidenden Faktor einer wirksamen KI-Governance.

Weitere Maßnahmen und Empfehlungen haben wir in unserem Report Data Leakage 2024+: Aktuelle Bedrohungstaktiken und darüber hinaus festgehalten.

Literaturverweise

(sp/Infodas GmbH)