Wenn ein KI-Projekt im Mittelstand strauchelt, fällt der Verdacht zuerst auf das Modell. Es halluziniert, oder es zieht aus der Firmendatenbank Dinge zusammen, die niemand so gewollt hat.
KI-Projekte scheitern selten an der KI

Aus unserer Projektarbeit kenne ich kaum ein gescheitertes Vorhaben, dessen Ursache wirklich im Modell lag. Die Ursachen liegen eine Schicht tiefer, wo Daten und Verantwortlichkeiten zu klären wären, bevor ein Modell angeschlossen wird. Diese Vorarbeit wird gern übersprungen, und genau das rächt sich.
Die Datenbasis kommt vor dem Modell
Jede größere Digitalisierung hat ein Erbe hinterlassen. Daten liegen in getrennten Systemen, sind halb strukturiert oder veraltet, und die Silos sprechen nicht miteinander. Solange das so bleibt, gibt auch ein gutes Modell keine verlässlichen Antworten, weil ihm die Grundlage fehlt. Das Muster wiederholt sich. Ein Unternehmen startet, merkt nach den ersten Tests, dass die Datenqualität nicht reicht, und landet wieder am Anfang. Wer den Schritt vorzieht, spart sich die Schleife.
Wenn die Wissensbasis sich selbst widerspricht
Ein oft übersehener Fehler steckt in der Wissensbasis. Liegen dort zwei Dokumente, die einander widersprechen, etwa eine alte und eine neue Fassung ohne erkennbares Datum, zieht das Modell mal das eine und mal das andere heran. Verschärft wird das durch ein belegtes Verhalten von Sprachmodellen. Sie gewichten Informationen am Anfang und am Ende eines langen Kontexts stärker als solche in der Mitte. Nelson Liu und Kollegen haben das 2023 als „Lost in the Middle“ beschrieben.
Das ist eine aktuelle Eigenschaft heutiger Modelle und kein dauerhaftes technisches Limit, unterstreicht aber, wie wichtig eine manuelle Qualitätskontrolle bleibt. Gerade in Retrieval-Architekturen (RAG), wie sie heute fast jede Wissensbasis nutzt, kann damit schon die Reihenfolge der eingespeisten Dokumente darüber entscheiden, ob dieselbe Frage gleich beantwortet wird. Die Pflege bleibt anfangs Handarbeit und wird danach zur laufenden Aufgabe, die sich automatisieren lässt.
Wer darf die KI was fragen
Sobald ein Modell an die Firmendaten angebunden ist, wird die Frage der Zugriffsrechte zur Sicherheitsfrage. Hängt die KI am gesamten Datenbestand, kann jemand aus einer fachfremden Abteilung Auskünfte abrufen, die ihm nicht zustehen, etwa unveröffentlichte Quartalszahlen. Hinzu kommt, dass eine generative KI mit Schreibrechten Daten verändern kann.
In der Praxis sehen wir am häufigsten, dass die KI einen eigenen, allmächtigen Service-Account erhält, statt die Rechte des jeweils anfragenden Nutzers zu erben. Wer stattdessen ein rollenbasiertes Berechtigungsmodell (RBAC) schon vor dem Produktivbetrieb sauber modelliert und konsequent dem Prinzip der minimalen Rechte (Least Privilege) folgt, nimmt diesem Szenario die Schärfe. Im Kern ist das klassische IAM-Disziplin, nur diesmal für einen nichtdeterministischen Nutzer.
Der EU AI Act sitzt schon im Wartezimmer
Sobald das System in die Produktion geht, kommt die Regulierung ins Spiel, und sie wird breit unterschätzt. Der EU AI Act stuft KI in der Beschäftigung als Hochrisiko-Anwendung ein, nachzulesen in Anhang III. Wer ein Werkzeug einsetzt, das Bewerbungen vorsortiert, fällt darunter, auch dann, wenn am Ende ein Mensch entscheidet. Die Betreiberpflichten für solche Hochrisiko-Systeme nach Anhang III sollten ursprünglich im August 2026 greifen.
Nach der vorläufigen Einigung zum „Digital Omnibus“ vom Mai 2026 verschieben sie sich voraussichtlich auf Dezember 2027, wobei die förmliche Verabschiedung noch aussteht. Verstöße können mit Bußgeldern bis zu fünfzehn Millionen Euro oder drei Prozent des weltweiten Jahresumsatzes geahndet werden, je nachdem, welcher Betrag höher ist. Sobald jemand die Entscheidungsgrundlage einfordert, wird aus der stillen Abkürzung ein teures Problem.
Die unbequeme Vorarbeit ist der eigentliche Kern
Die Ungewissheit, ob das eigene Unternehmen KI einführen sollte, hat sich für die meisten längst erledigt. Geblieben ist die Frage nach dem Wo. Wer KI nur dort einsetzt, wo es alle anderen auch tun, hält bestenfalls den Anschluss, einen Vorsprung gewinnt er damit nicht. Strategisch entscheidend ist, an welcher Stelle der eigenen Wertschöpfung die Technik heute schon verlässlich genug ist, um daraus echten Wettbewerbsvorteil zu ziehen. Ein lieblos aufgesetztes Projekt verbrennt das Thema zudem oft für Jahre, während die Konkurrenz davonzieht.
Deshalb bildet die unbequeme Vorarbeit den eigentlichen Kern des Projekts. Wer Datenbasis und Rechte klärt und die Regulierung mitdenkt, bevor das KI-Modell eingespannt wird, hat die schwierigste Etappe hinter sich. Der Rest ist dann tatsächlich „nur noch“ Technik.
| Fünf Fragen vor dem ersten KI-Modell (Checkliste für Entscheider) |
| #1 Sind unsere relevanten Datenquellen erfasst und ist für jede ein Data Owner benannt? |
| #2 Existiert eine Golden Source für die Fälle, in denen sich Dokumente widersprechen? |
| #3 Steht ein rollenbasiertes Berechtigungsmodell nach dem Prinzip der minimalen Rechte (Least Privilege), inklusive der Schreibrechte? |
| #4 Haben wir ein festes Testset mit bekannten Soll-Antworten und ein Monitoring für die laufende Qualität? |
| #5 Ist die Risikoklasse jedes Use Case nach dem EU AI Act bestimmt? |









