KI-Sicherheit in der Praxis: Wie Unternehmen GenAI-Risiken wirksam managen

Stufe 3: Volle Kontrolle mit On-Premises-Infrastrukturen

Für Unternehmen mit höchsten Sicherheits- und Compliance-Anforderungen – etwa Banken, Versicherungen, Gesundheitseinrichtungen oder Behörden – kann der Betrieb von GenAI-Modellen auf eigenen Servern statt in der Cloud die richtige Wahl sein. On-Premises-Infrastrukturen geben Ihnen volle Kontrolle über Daten und Prozesse, was besonders in regulierten Branchen wichtig ist. Allerdings ist dieser Ansatz mit erheblichen Investitionen verbunden: Hardware-Kosten für leistungsfähige GPU-Server, Speichersysteme und Netzwerkinfrastruktur können schnell sechsstellige Beträge erreichen. Hinzu kommen Betriebskosten für Strom, Kühlung und qualifiziertes Personal.

„Validierte Designs für GenAI-Anwendungen von IT-Partnern
können Unternehmen dabei maßgeblich unterstützen und enorm
entlasten.“

Anzeige

Christian Scharrer ist Enterprise Architect und CTO Ambassador bei Dell Technologies

Validierte Infrastruktur-Designs von etablierten Anbietern können die Implementierung erheblich vereinfachen und Risiken minimieren. Die Dell AI Factory bietet beispielsweise vorkonfigurierte Architekturen aus Hardware und KI-Software, die bereits getestet und validiert wurden. Diese Designs enthalten nicht nur Empfehlungen für die richtige Dimensionierung, sondern auch detaillierte Anleitungen für Deployment und Betrieb. Eingebaute Sicherheitsmechanismen wie Verschlüsselung, Zugriffskontrolle und Monitoring federn Schwachstellen der Modelle ab und minimieren Cyberrisiken. Außerdem stellen sie nachvollziehbare Prozesse, Logging-Funktionen und Management-Tools bereit, die bei der Umsetzung von Governance- und Audit-Anforderungen helfen.

Ähnliche Lösungen bieten HPE mit ihrer Private Cloud AI und dem NVIDIA AI Computing by HPE-Portfolio, das auf dem NVIDIA Enterprise AI Factory validated design basiert. HPE kombiniert NVIDIA-GPUs, Spectrum-X Ethernet Networking, BlueField-3 DPUs und HPE Alletra Storage zu schlüsselfertigen Systemen. IBM watsonx liefert eine umfassende Plattform, die nicht nur Infrastruktur, sondern auch spezialisierte Governance-Tools wie watsonx.governance bietet. Diese Lösung ermöglicht end-to-end Überwachung von Machine-Learning- und GenAI-Modellen, automatisierte Compliance-Checks für EU AI Act und DSGVO sowie detaillierte Audit-Trails. Lenovo bietet validated designs für IBM watsonx auf eigener Hardware, während Cisco mit Cisco AI Defense spezialisierte Sicherheitslösungen gegen Prompt Injection und Data Leakage entwickelt hat.

Diese vorvalidierten Designs müssen natürlich noch an die spezifischen Anforderungen der jeweiligen Anwendungen angepasst werden. Sie ermöglichen es Unternehmen aber, On-Premises-Infrastrukturen für ihre GenAI Use Cases schneller und risikoärmer zu implementieren und befreien sie davon, alle sicherheitsrelevanten Aspekte selbst zu planen, zu integrieren und zu testen. Dadurch haben sie nicht nur weniger Aufwand, sondern vermeiden auch Fehlkonfigurationen, Sicherheitslücken und Inkompatibilitäten zwischen einzelnen Komponenten. Ein weiterer Vorteil: Diese Anbieter bieten typischerweise auch umfassenden Support und Wartung an, was gerade für Unternehmen ohne tiefes KI-Infrastruktur-Know-how wertvoll ist.

Verantwortliche Rollen für Stufe 3 sind CTO oder CIO, das IT-Infrastruktur-Team sowie externe Implementierungspartner der gewählten Lösung. Die Kosten liegen typischerweise zwischen 200.000 und 1.000.000 Euro für die einmalige Investition in Hardware und Software, plus laufende Betriebskosten von 50.000 bis 200.000 Euro jährlich für Personal, Wartung, Strom und Kühlung.

Wichtiger Hinweis: On-Premises ist nicht automatisch sicherer als Cloud. Große Cloud-Anbieter wie AWS, Microsoft Azure oder Google Cloud verfügen über globale Security-Teams mit hunderten Spezialisten, automatisierte Bedrohungserkennung auf Basis von Milliarden Datenpunkten und zertifizierte Rechenzentren mit physischer Sicherheit auf höchstem Niveau. Die Entscheidung zwischen Cloud und On-Premises sollte auf einer differenzierten Risikoanalyse basieren, die auch die eigenen Fähigkeiten realistisch einschätzt, nicht auf pauschalen Annahmen.

Alternative Wege: Managed Services und Speziallösungen

Neben dem Aufbau eigener Infrastrukturen gibt es weitere Ansätze, um GenAI sicher zu betreiben, die besonders für Unternehmen ohne eigenes tiefes Security-Know-how attraktiv sind. Managed Detection and Response (MDR) für KI-Systeme ist ein relativ neues Angebot, bei dem spezialisierte Security-Dienstleister kontinuierliches Monitoring, Bedrohungserkennung und Incident Response für KI-Systeme übernehmen. Diese Dienstleister verfügen über spezialisierte Analysten, die mit KI-spezifischen Bedrohungen vertraut sind, und können oft schneller auf Vorfälle reagieren als interne Teams. Kosten liegen typischerweise bei 3.000 bis 15.000 Euro pro Monat, abhängig vom Umfang der überwachten Systeme.

Governance-Plattformen bieten zentrale Steuerung, Compliance-Überwachung und Risikobewertung für KI-Systeme. IBM watsonx.governance beispielsweise ermöglicht automatisierte Compliance-Prüfungen gegen EU AI Act, ISO 42001 und NIST AI RMF, bietet Echtzeit-Monitoring von Fairness- und Qualitätsmetriken und erstellt umfassende Audit-Trails. Microsoft Purview integriert KI-Governance in bestehende Microsoft-Umgebungen und kann sowohl Microsoft- als auch Drittanbieter-Modelle überwachen. DataRobot bietet ähnliche Funktionen mit Fokus auf MLOps und Modell-Lifecycle-Management. Diese Plattformen kosten je nach Umfang zwischen 50.000 und 300.000 Euro jährlich, können aber den Aufwand für manuelle Compliance-Checks erheblich reduzieren.

Spezialisierte KI-Security-Anbieter fokussieren sich auf KI-spezifische Bedrohungen. Robust Intelligence bietet Lösungen zur Erkennung von Adversarial Attacks und Model Poisoning. Adversa AI spezialisiert sich auf die Absicherung von Sprachmodellen gegen Prompt Injection und Jailbreaking. HiddenLayer konzentriert sich auf Model Stealing und Backdoor Detection. Diese spezialisierten Tools können als Ergänzung zu bestehenden Security-Stacks eingesetzt werden und kosten typischerweise zwischen 20.000 und 100.000 Euro jährlich.

Open-Source-Frameworks bieten kosteneffektive Alternativen für Unternehmen mit entsprechendem technischem Know-how. IBM’s AI Fairness 360 und Microsoft’s Fairlearn helfen bei der Erkennung und Minderung von Bias in Trainingsdaten. OWASP Machine Learning Security Top 10 bietet Guidelines für sichere ML-Entwicklung. NVIDIA’s NeMo Guardrails ermöglicht die Implementierung von Sicherheitsrichtlinien für Sprachmodelle. Diese Tools sind zwar kostenlos, erfordern aber erhebliche Expertise für Integration und Betrieb.

Die unterschätzte Dimension: Mensch und Organisationskultur

Technische Maßnahmen allein reichen nicht aus, denn das größte Sicherheitsrisiko bleibt der Mensch. Aktuelle Studien zeigen, dass über 80 Prozent der Datenverletzungen auf menschliches Versagen zurückzuführen sind (IBM Cost of a Data Breach Report 2024) – sei es durch Unachtsamkeit, mangelndes Bewusstsein oder bewusste Umgehung von Sicherheitsrichtlinien. Ein typisches Beispiel: Ein Vertriebsmitarbeiter nutzt ChatGPT, um Angebote zu formulieren, und lädt dabei versehentlich die gesamte Kundenliste hoch, weil er denkt, das beschleunige den Prozess. Solche Vorfälle lassen sich nicht allein durch technische Kontrollen verhindern.

Erfolgreiche KI-Sicherheit erfordert kontinuierliche Awareness-Schulungen, bei denen Mitarbeiter verstehen, warum Sicherheitsrichtlinien existieren und welche realen Schäden Verstöße verursachen können. Nutzen Sie konkrete Beispiele aus der eigenen Branche statt abstrakter Bedrohungsszenarien. Ein Workshop für Bankmitarbeiter könnte beispielsweise einen realen Fall durchspielen, bei dem ein Konkurrent durch Prompt Injection Zugriff auf Kreditbewertungsalgorithmen erlangt hat. Solche branchenspezifischen Szenarien haben deutlich mehr Wirkung als generische Security-Präsentationen.

Schaffen Sie eine Kultur der Transparenz, in der Mitarbeiter Sicherheitsbedenken oder Fehler melden können, ohne Sanktionen zu fürchten. Fehlermeldungen sind wertvolle Lernchancen – ein Mitarbeiter, der zugibt, versehentlich Daten in ein öffentliches KI-Tool hochgeladen zu haben, ermöglicht es der IT, schnell zu reagieren und größeren Schaden zu verhindern. Bestrafung würde dazu führen, dass solche Vorfälle verschwiegen werden. Die Einführung neuer KI-Tools sollte von strukturierten Change-Management-Prozessen begleitet werden. Beziehen Sie Mitarbeiter frühzeitig ein, erklären Sie sowohl Vorteile als auch Grenzen der Technologie und sammeln Sie aktiv Feedback. Definieren Sie klare Eskalationswege: An wen können sich Mitarbeiter wenden, wenn sie unsicher sind, ob eine KI-Anwendung sicher ist oder ob sie bestimmte Daten verwenden dürfen.

Die Kosten-Nutzen-Realität: Für wen lohnt sich welcher Aufwand?

Die beschriebenen Maßnahmen sind ressourcenintensiv – sowohl finanziell als auch personell. Eine realistische Einschätzung ist entscheidend, um Über- oder Unterinvestitionen zu vermeiden. Für kleine und mittlere Unternehmen mit weniger als 250 Mitarbeitern ist der Fokus auf Stufe 1 – die Basis-Absicherung – in der Regel ausreichend und angemessen. Cloud-basierte Lösungen mit integrierten Security-Features wie Microsoft Azure AI, AWS Bedrock oder Google Cloud Vertex AI sind für diese Unternehmensgruppe oft kostengünstiger und sicherer als der Aufbau eigener Infrastrukturen. Die großen Cloud-Anbieter investieren Milliarden in Sicherheit und verfügen über Ressourcen, die kein KMU selbst aufbringen kann. Externe Unterstützung durch Managed Services kann zusätzlich sinnvoll sein, um Lücken im eigenen Know-how zu schließen.

Mittelgroße Unternehmen mit 250 bis 1.000 Mitarbeitern sollten eine Kombination aus Stufe 1 und 2 anstreben. Investitionen in Governance-Strukturen, regelmäßige Sicherheitsaudits und dedizierte Compliance-Rollen lohnen sich besonders dann, wenn GenAI in kundenkritischen oder compliance-relevanten Bereichen eingesetzt wird – etwa im Kundenservice, in der Kreditbewertung oder im Gesundheitswesen. Hybrid-Ansätze, bei denen unkritische Workloads in der Cloud laufen, während sensible Daten on-premises verarbeitet werden, können eine optimale Balance zwischen Kosten, Sicherheit und Flexibilität bieten.

Große Unternehmen und Organisationen in stark regulierten Branchen mit über 1.000 Mitarbeitern benötigen alle drei Stufen. On-Premises-Infrastrukturen mit validierten Designs von Dell, HPE, IBM oder anderen Anbietern können sich lohnen, insbesondere für Banken, Versicherungen, Gesundheitseinrichtungen oder Behörden mit höchsten Compliance-Anforderungen. Der Aufbau eigener KI-Security-Teams mit spezialisierten Rollen wie KI-Governance-Officer, ML-Security-Engineer und AI-Ethics-Board wird notwendig. Die Investitionen sind erheblich, aber angesichts potenzieller regulatorischer Strafen und Reputationsschäden oft gerechtfertigt.

Was tun, wenn es passiert? KI-Incident-Response

Kein Sicherheitskonzept ist perfekt – deshalb brauchen Unternehmen einen klaren Plan für den Ernstfall. Ein KI-spezifischer Incident-Response-Plan ergänzt allgemeine IT-Sicherheitsprozesse um wichtige Besonderheiten: Anders als bei klassischen IT-Vorfällen müssen bei kompromittierten KI-Systemen auch Trainingsdaten und Modell-Outputs forensisch analysiert werden.

Bei einem KI-Sicherheitsvorfall sollten folgende Schritte unmittelbar eingeleitet werden: Zunächst gilt es, das betroffene KI-System sofort offline zu nehmen oder in einen Read-only-Modus zu versetzen und alle laufenden Inferenz- und Trainingsprozesse zu stoppen (Sofortmaßnahmen, 0–4 Stunden). In der anschließenden Analysephase (4–48 Stunden) werden Logs ausgewertet, der Angriffsvektor identifiziert und das Ausmaß möglicher Datenlecks ermittelt. Besonders wichtig: DSGVO-relevante Datenpannen müssen innerhalb von 72 Stunden der zuständigen Datenschutzbehörde gemeldet werden (Art. 33 DSGVO). Bei EU-AI-Act-relevanten Hochrisiko-Systemen bestehen zusätzliche Meldepflichten gegenüber Marktüberwachungsbehörden. Das betroffene Modell sollte erst nach vollständiger forensischer Analyse und gegebenenfalls Neutraining auf sauberen Daten wieder in Betrieb genommen werden.

Übersicht: Sicherheitsstufen im Vergleich

Kriterium	Stufe 1: Basis	Stufe 2: Erweitert	Stufe 3: Volle Kontrolle
Zielgruppe	Alle Unternehmen, besonders KMU < 250 MA	Produktivbetrieb, 250-1.000 MA	Hochsensibel, reguliert, > 1.000 MA
Kernmaßnahmen	Nutzungsrichtlinien, Schulungen, Shadow-AI-Kontrolle, DSGVO-Check	Security-Audits, Verschlüsselung, RBAC, Logging, Governance-Framework	On-Premises-Infrastruktur, validierte Designs (Dell, HPE, IBM), dedizierte Security-Tools
Kosten (initial)	5.000 – 50.000 €	50.000 – 150.000 € p.a.	200.000 – 1.000.000 €
Laufende Kosten	3.000 – 10.000 € p.a.	50.000 – 150.000 € p.a.	50.000 – 200.000 € p.a.
Zeitaufwand	20 – 50 Personentage	100 – 200 Personentage	300 – 500 Personentage
Verantwortung	IT-Sicherheit, HR, Datenschutzbeauftragter	IT-Security-Team, Compliance-Officer, externe Berater	CTO/CIO, IT-Infrastruktur, Implementierungspartner

Fazit: Kein 100-Prozent-Schutz, sondern kontinuierliches Risikomanagement

Generative KI bietet Unternehmen enorme Chancen – von Effizienzsteigerungen bis zu völlig neuen Innovationsmöglichkeiten. Doch die Risiken sind real und vielfältig: Cyberangriffe, Datenlecks, Compliance-Verstöße und ethische Fallstricke können erhebliche finanzielle und reputative Schäden verursachen. Die zentrale Erkenntnis dieses Leitfadens lautet: Es gibt keinen absoluten Schutz vor allen Bedrohungen. KI-Sicherheit ist kein einmaliges Projekt mit einem klar definierten Endpunkt, sondern ein fortlaufender Prozess, der kontinuierliche Anpassung erfordert. Bedrohungen entwickeln sich weiter, neue Angriffsvektoren entstehen, Regularien ändern sich, und auch die eigenen Anwendungsfälle werden komplexer.

Unternehmen müssen ihre Maßnahmen kontinuierlich überprüfen und weiterentwickeln. Regelmäßige Schulungen, bei denen Mitarbeiter über neue Bedrohungen informiert werden, sind ebenso wichtig wie die laufende Anpassung von Governance-Strukturen an neue regulatorische Anforderungen. Security-Audits sollten nicht nur einmalig, sondern in regelmäßigen Abständen durchgeführt werden, um neu entdeckte Schwachstellen zu identifizieren. Die gute Nachricht: Mit der richtigen Priorisierung, gestuften Einführungsstrategien und einer Kombination aus technischen, organisatorischen und kulturellen Maßnahmen können Unternehmen die Potenziale von GenAI verantwortungsvoll ausschöpfen – ohne sich unkalkulierbaren Risiken auszusetzen.

Der Schlüssel liegt darin, GenAI nicht als isolierte IT-Initiative zu behandeln, sondern als strategisches Thema, das IT, Rechtsabteilung, Compliance, Personalwesen und Management gemeinsam angehen müssen. Nur durch diesen ganzheitlichen Ansatz entsteht ein wirkungsvolles Risikomanagement, das Innovation und Sicherheit in Einklang bringt. Unternehmen, die diesen Weg gehen, werden nicht nur sicherer sein, sondern auch schneller und nachhaltiger von den Vorteilen generativer KI profitieren. Validierte Infrastruktur-Lösungen von Anbietern wie Dell, HPE, IBM und anderen können dabei eine wertvolle Unterstützung sein, indem sie getestete Architekturen, integrierte Sicherheitsmechanismen und umfassende Governance-Tools bereitstellen – und so den Weg zu sicherer und verantwortungsvoller GenAI-Nutzung erheblich verkürzen.

---

FAQ: Die wichtigsten Fragen zur GenAI-Sicherheit