Souveräne KI-Systeme statt Blackbox-Lösungen

Spätestens seit der Offenlegung des Codes für KI-Modelle vom chinesischen Anbieter Deepseek ist klar, die Zeit der Blackbox ist vorbei. Wer technologische Unabhängigkeit will, setzt auf Open Source.

Welche zentralen Überlegungen interne Technologie-Bereiche und Entwickler anstellen sollten, um Sprachmodelle unternehmensspezifisch zu gestalten, verrät die Gründerin der Firma Explosion.ai und Entwicklerin der Software SpaCy Ines Montani.

Fest steht: Open Source KI-Modelle bieten Unternehmen nicht nur lizenzfreie Nutzung und volle Transparenz über Architektur und Datenflüsse – sie ermöglichen zudem die vollständige Kontrolle über Infrastruktur, Skalierung und Modellanpassung. Für hiesige IT-Entscheider heißt das: Keine Bindung an proprietäre APIs, keine unvorhersehbaren Preisänderungen durch US-Plattformanbieter, keine Cloud-Zwangsarchitektur. Stattdessen lassen sich Modelle lokal betreiben, gezielt optimieren (zum Beispiel durch Fine-Tuning oder LoRA) und nahtlos in bestehende Systemlandschaften integrieren. Moderne Frameworks wie Hugging Face, LangChain oder vLLM senken zudem die Einstiegshürden erheblich – selbst mittelständische IT-Teams können damit KI-Anwendungen entwickeln, die spezifische Unternehmensprozesse intelligent unterstützen.

Mit Open Source zur KI-Kompetenz

Und wer jetzt denkt, dafür ausgewiesene KI-Experten anheuern zu müssen, ist auf dem Holzweg. Ein wesentlicher Vorteil der Open-Source-KI-Modelle gegenüber den oft intransparenten US-Blackbox-Lösungen ist, dass ihre Implementierung keine hochspezialisierten Fachkenntnisse erfordert. Zumindest dann nicht, wenn KI jenseits vom klassischen Coding genutzt werden soll. Ohne eine Zusatzqualifikation haben Softwareentwickler beispielsweise die Möglichkeit, große Sprachmodelle wie ChatGPT zur Erklärung komplexer Zusammenhänge oder zur Unterstützung fachfremder Aufgaben, wie dem Aufbau technischer Infrastrukturen, einzusetzen. Dank moderner Open-Source-Programme werden sie künftig in der Lage sein, eigene KI-Anwendungen zu erstellen und große Teile der Entwicklung selbst zu übernehmen. Ganz nebenbei bauen sie darüber quasi „On-the-Job“ ihr eigenes KI-Wissen aus.

Zeitaufwendige Schulungen oder Trainings sind in diesem Kontext daher kaum noch notwendig. Ein konkretes Beispiel: Ein Entwickler bittet ChatGPT um eine Schritt-für-Schritt-Anleitung zur Lösung eines technischen Problems oder lässt sich eine bestehende Codebasis umfassend erläutern. Mit diesem „Wissensmodul auf Abruf“ kann ein Backend-Entwickler problemlos Aufgaben seines Frontend-Kollegen übernehmen. Alternativ könnte er das Google KI-Modell Gemini nach den entsprechenden Umsetzungsschritten fragen, und hätte eine Antwort, die er auf Nachvollziehbarkeit und Plausibilität prüfen könnte.

Das zeigt: Interne Entwickler oder sonstige IT-Generalisten können KI-basierte Workflows einsetzen und steuern, wenn sie wissen, an welcher Stelle große Sprachmodelle einen Mehrwert liefern und wann Open Source Tools unkomplizierter und schneller angewandt werden können. Wer sich so einer Businessanforderung nähert, bekommt automatisch eine ganzheitliche Perspektive auf die Problemstellung und kann künftig womöglich besser einschätzen, ob und wann künstliche Intelligenz eingesetzt werden sollte. Die Anwendung Open Source basierter KI hat zudem einen stärker kollaborativen Charakter, was den gesamten Implementierungsprozess beschleunigen dürfte. Gerade bei der Einführung von LLMs erweist sich Silodenken – etwa zwischen Machine-Learning-, Backend- und Frontend-Teams – als echter Innovationskiller. Denn eines ist längst klar: Abteilungs-Egoismen bremsen den Fortschritt, während offene, modellgestützte Zusammenarbeit ihn beflügelt.

Nicht jede Lösung braucht KI

Aber nicht jede Lösung, die Produktivititässteigerung verspricht, muss zwangsläufig auf künstlicher Intelligenz basieren. Um Prozesse schlanker zu machen und effizient zu gestalten, reicht in vielen Fällen eine regelbasierte Logik aus. Interessanterweise kann genau dabei wiederum KI unterstützend wirken – etwa dann, wenn große Sprachmodelle dabei helfen, reguläre Ausdrücke oder Muster (Match-Patterns) zu entwickeln, um strukturierte Informationen aus unstrukturierten Texten zu extrahieren. Mit anderen Worten: KI-Modelle leisten wertvolle Hilfe dabei, überhaupt erst zu evaluieren, ob der Einsatz von künstlicher Intelligenz in einer konkreten Business-Lösung notwendig ist – oder ob klassische, regelbasierte Ansätze ausreichen. Daher sollten sich IT-Experten immer zuerst die Frage stellen: Brauchen wir für diese Aufgabe die großen LLM-Sprachmodelle?

Angesichts der allgegenwärtigen Präsenz großer Sprachmodelle fällt die Entscheidung gegen ihren Einsatz allerdings nicht leicht. Unternehmen sollten sich dabei jedoch stets auch der Schattenseiten dieser monolithischen Systeme bewusst sein. So erfordert ihre Nutzung in der Regel das Versenden sensibler Daten an externe APIs – was Fragen des Datenschutzes und der Datensouveränität aufwirft. Hinzu kommt die mangelnde Transparenz: Es bleibt oft unklar, auf welcher Datenbasis die Modelle ihre Schlussfolgerungen ziehen. Eine gezielte Nutzung einzelner Funktionalitäten – etwa im Sinne modularer, stand-Alone Lösungen – ist kaum möglich. Das erschwert die Integration in bestehende IT-Strukturen erheblich.

Strukturierte Daten sind der Schlüssel für Entscheidungen

Ein Beispiel verdeutlicht, wie sich durch gezieltes Prompten eine fundierte Entscheidungsgrundlage schaffen lässt: Fordert man das Sprachmodell etwa dazu auf, regelbasierte Logiken zu entwickeln – beispielsieweise in Form von Code oder mithilfe von Open-Source-Bibliotheken – kann es gezielt Informationen aus Texten extrahieren. Auf diesem Weg kann eine greifbare, nachvollziehbare Lösung entwickelt werden. Diese Herangehensweise hilft dabei zu beurteilen, ob klassische Methoden ausreichen oder ob der Einsatz umfassender KI-Strukturen tatsächlich notwendig ist.

Ohnehin ist es für entsprechende Use Cases erfolgskritisch, strukturierte Daten aus Texten zu extrahieren, um entsprechend annotierte Beispiele vorliegen zu haben und das KI-Modell damit zu füttern. Die wertvollsten Informationen sind dabei diejenigen, die möglichst unternehmens- und fachspezifisch sind. Daher ist es ratsam, Spezialisten wie Analysten oder auch Ingenieure aus anderen Fachbereichen in diesem Prozess einzubeziehen. Das funktioniert allerdings nicht von heute auf morgen. Um das KI-Modell auf diese Weise zu trainieren, brauchen Entwickler samt Fachexperten nicht nur eine entsprechend große Anzahl von Use Cases, sondern auch Zeit.

Warum selbst taggen? LLMs übernehmen die Vorarbeit

Und da kaum jemand noch die Zeit hat, stundenlag Daten für ein KI-Modell zu annotieren, könnten wiederum die großen Sprachmodelle wertvolle Dienste leisten, indem der Prozess der Datenerstellung automatisiert wird. Entwickler müssten in diesem Szenario lediglich vereinzelte Korrekturen vornehmen. In einem Annotationstool wie Prodigy könnten diese Beispiele von Entwicklern und Experten aus Fachbereichen zügig überprüft und ggf. korrigiert werden. Als Resultat hätten sie ein Datenset gespickt mit anwendungsspezifischen Beispielen, die eine passende Grundlage für das Trainieren eines KI-Modells wären. Das Ganze wird dann so lange wiederholt, bis das individuelle Modell die Performance des großen Sprachmodells übertrifft.

Fazit

Große generative Sprachmodelle übernehmen im Entwicklungsprozess also wertvolle Assistenzfunktionen – etwa bei der Strukturierung von Daten oder der Generierung regelbasierter Logiken. Das finale KI-System arbeitet autark und ist nicht auf externe Blackbox-Modelle angewiesen. Unternehmen behalten so nicht nur die Kontrolle über ihre sensiblen Daten, sondern auch über Infrastruktur, Kosten und Ergebnisqualität. Der gezielte Einsatz von Open-Source-Komponenten und internem Fachwissen schafft Transparenz, steigert die Effizienz und erhöht die langfristige Rentabilität – besonders im Vergleich zu rein API-basierten Cloud-Lösungen. Letztere bringen oft Intransparenz, schwankende Kosten und externe Abhängigkeiten mit sich, während interne Systeme gezielt optimiert, datenschutzkonform betrieben und wirtschaftlich skaliert werden können.