Ein Versicherungsunternehmen setzt künstliche Intelligenz ein, um Anträge zu prüfen. Das System empfiehlt, einen Antrag abzulehnen. Der Mitarbeiter übernimmt die Empfehlung. Später zeigt sich, dass Daten falsch gewichtet wurden. Wer haftet: der Anbieter, das Unternehmen oder die Geschäftsleitung?
KI-Compliance: Wer haftet, wenn die KI entscheidet?

Ähnliche Fragen stellen sich bei Personal- und Kreditentscheidungen. KI kann Abläufe verbessern, aber auch fehlerhafte Ergebnisse erzeugen. Risiken entstehen vor allem, wenn diese ungeprüft übernommen werden.
KI-Systeme sind keine Rechtssubjekte, die für Entscheidungen haften. In Betracht kommen deshalb die natürlichen und juristischen Personen, die KI entwickeln, bereitstellen, betreiben oder deren Ergebnisse verwenden. Ob eine Haftung besteht, richtet sich nach der einschlägigen Rechtsgrundlage und den Umständen des Einzelfalls.
Mit der Verordnung (EU) 2024/1689, dem Artificial Intelligence Act (AI Act), hat die EU einen einheitlichen Rechtsrahmen geschaffen. Die Verordnung verfolgt einen risikobasierten Ansatz. Für gesetzlich definierte Hochrisiko-KI-Systeme gelten besondere Anforderungen. Erfasst sein können etwa Anwendungen zur Bewerberauswahl, Kreditwürdigkeitsprüfung natürlicher Personen sowie zur Risikobewertung in der Lebens- und Krankenversicherung. Nicht jede KI-Anwendung eines Versicherers ist deshalb Hochrisiko-KI.
Wesentliche Teile des AI Act gelten seit dem 2. August 2026. Die Verordnung (EU) 2026/1744 hat zentrale Anwendungsfristen verschoben: für Hochrisiko-Systeme nach Anhang III grundsätzlich auf den 2. Dezember 2027, für bestimmte produktbezogene Systeme auf den 2. August 2028. Unberührt bleiben bereits geltende Pflichten, etwa aus dem Datenschutz- und Haftungsrecht.
Wer haftet – Anbieter, Betreiber oder Geschäftsleitung?
Bei der Haftungsprüfung ist festzustellen, wo die Ursache der Fehlentscheidung liegt. Sie kann bei der Entwicklung, bei der Auswahl oder bei der Nutzung des KI-Systems entstanden sein. Je nach Ursache kommen unterschiedliche Haftende in Betracht.
Anbieter können für eigene Pflichtverletzungen haften, etwa bei fehlerhaften Funktionen, Sicherheitsmängeln oder unzutreffenden Leistungsangaben. Die neue Produkthaftungsrichtlinie (EU) 2024/2853 erfasst ausdrücklich Software und damit grundsätzlich auch KI-Systeme. Sie ist bis zum 9. Dezember 2026 umzusetzen und betrifft Produkte, die nach diesem Datum in Verkehr gebracht oder in Betrieb genommen werden. Die verschuldensunabhängige Produkthaftung gilt jedoch nicht für jeden wirtschaftlichen Nachteil.
Setzt ein Unternehmen KI ein, bleibt es grundsätzlich für die rechtmäßige Gestaltung seiner Geschäftsprozesse verantwortlich. Die Nutzung einer externen Software befreit nicht von Auswahl-, Organisations- und Überwachungspflichten. Vertragliche Schadensersatzansprüche können sich aus §§ 280 ff. Bürgerliches Gesetzbuch (BGB), deliktische, also außervertragliche Ansprüche aus § 823 BGB ergeben. Der AI Act selbst begründet keinen allgemeinen Schadensersatzanspruch.
Bei der Verarbeitung personenbezogener Daten ist außerdem Art. 22 Datenschutz-Grundverordnung (DSGVO) zu beachten. Die Vorschrift betrifft grundsätzlich ausschließlich automatisierte Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung; sie enthält Ausnahmen und besondere Schutzanforderungen. Eine nur formale Mitwirkung eines Mitarbeiters ersetzt keine tatsächliche Prüfung.
Geschäftsführung und Vorstand treffen Sorgfalts- und Organisationspflichten, die sich insbesondere aus § 43 GmbHG und § 93 AktG ergeben. Sie umfassen auch die sachgerechte Organisation und Überwachung eingesetzter KI-Systeme. Aus einem falschen KI-Ergebnis folgt jedoch nicht automatisch eine persönliche Haftung. Dafür bedarf es einer zurechenbaren Pflichtverletzung und der weiteren Voraussetzungen des jeweiligen Anspruchs.
Bei unternehmerischen Entscheidungen ist außerdem die Business Judgement Rule gemäß § 93 Abs. 1 Satz 2 AktG zu berücksichtigen; für die GmbH gelten entsprechende Grundsätze. Rechtlicher Schutz kann danach bestehen, wenn die Entscheidung auf angemessenen Informationen beruht und vernünftigerweise dem Wohl der Gesellschaft dienen soll. Gesetzliche Pflichten dürfen dabei nicht übergangen werden. Risikoanalysen, Zuständigkeiten und Beschlüsse sind deshalb nachvollziehbar zu dokumentieren.
Menschliche Aufsicht muss tatsächlich funktionieren
Die bloße Einrichtung einer menschlichen Kontrolle reicht zur Begrenzung von KI-Haftungsrisiken nicht aus. Werden KI-Empfehlungen im Arbeitsalltag regelmäßig ungeprüft übernommen, bleibt die Aufsicht lediglich formal. Im Versicherungsbeispiel müsste der zuständige Mitarbeiter etwa widersprüchliche Angaben erkennen und eine auffällige Risikobewertung hinterfragen können.
Für erfasste Hochrisiko-KI-Systeme enthalten Art. 14 und 26 AI Act Anforderungen an die menschliche Aufsicht. Erforderlich sind geeignete Prüfungs-, Eingriffs- und Eskalationsmöglichkeiten sowie ausreichende Informationen und Befugnisse. Nicht jede automatisierte Entscheidung ist deshalb unzulässig. Entscheidend bleiben der konkrete Einsatz und die jeweils geltenden Vorschriften.
Auch die KI-Kompetenz ist zu berücksichtigen. Nach Art. 4 AI Act in seiner 2026 geänderten Fassung sind Maßnahmen zu ihrer Förderung vorgesehen, die Ausbildung, Erfahrung und Einsatzkontext einbeziehen. Ein festes Kompetenzniveau jedes Beschäftigten wird nicht garantiert. Schulungen sollten sich an Risiken und Grenzen der verwendeten Systeme orientieren.
Cybersicherheit ist ebenfalls relevant. Manipulierte Daten oder Sicherheitslücken können KI-Ergebnisse verfälschen. Der Cyber Resilience Act (Verordnung (EU) 2024/2847) betrifft bestimmte Produkte mit digitalen Elementen, nicht jede KI-Anwendung. NIS-2 richtet sich an erfasste Einrichtungen. In Deutschland konkretisieren insbesondere §§ 30 und 38 BSI-Gesetz Risikomanagement und Leitungsverantwortung.
AI Act, Cyber Resilience Act und NIS-2 verfolgen unterschiedliche Zwecke. Sie können nebeneinander gelten, sind aber abzugrenzen. Ein regulatorischer Verstoß begründet nicht automatisch eine persönliche Schadensersatzpflicht der Geschäftsleitung.
Gute KI-Compliance beginnt vor dem ersten Einsatz
Zu erfassen ist, welche KI-Systeme mit welchen Daten und Zwecken eingesetzt werden. Ein KI-Inventar dient der Risikoklassifizierung. Eine interne Texthilfe erfordert andere Kontrollen als ein System, das über berufliche Chancen mitentscheidet.
Klare Zuständigkeiten für Beschaffung, Freigabe, Betrieb und Kontrolle der KI-Systeme sind vorab festzulegen. Dazu gehören geeignete Prüfverfahren, Zugriffsrechte, Tests und Protokollierungen. Es muss geregelt sein, wer bei Fehlentscheidungen eingreifen oder einen Einsatz beenden darf. Die Geschäftsleitung benötigt Informationen darüber, welche Mängel festgestellt und welche Maßnahmen umgesetzt wurden.
KI-Verträge sollten Leistungsumfang, Einsatzbedingungen, Sicherheitsanforderungen, Informationspflichten und Haftungsfragen regeln. Je nach Risiko können Audit- und Kontrollrechte erforderlich sein. Gesetzliche Pflichten lassen sich jedoch nicht beliebig auf den Anbieter verlagern.
Entscheidungswege und Kontrollen sollten nachvollziehbar dokumentiert sein. Dies kann auch für den Nachweis einer pflichtgemäßen Organisation bedeutsam werden. Für Fehlentscheidungen, Beschwerden, Datenschutzvorfälle und Sicherheitsvorfälle sind außerdem Melde-, Korrektur- und gegebenenfalls Abschaltungsprozesse festzulegen.
Gute KI-Compliance verhindert nicht jeden Fehler. Sie hilft jedoch dabei, Risiken frühzeitig zu erkennen und die Erfüllung von Sorgfalts- und Kontrollpflichten darzulegen. Anbieter bleiben für ihre Leistungen, Betreiber für den rechtmäßigen Einsatz und Geschäftsleitungen für die ordnungsgemäße Organisation verantwortlich. Ob im Einzelfall Schadensersatz geschuldet ist, richtet sich nach den jeweiligen Anspruchsvoraussetzungen. Die Entscheidung kann automatisiert sein; die rechtliche Verantwortung bleibt bestehen.










