Strategien für den verantwortungsvollen KI-Einsatz im öffentlichen Bereich

Behörden stehen vor einer doppelten Aufgabe: Einerseits soll KI Verwaltungsprozesse beschleunigen, Mitarbeitende entlasten und den Bürgerservice verbessern.

Andererseits müssen sie rechtliche Vorgaben einhalten – vom EU AI Act über die Datenschutz-Grundverordnung (DSGVO) bis hin zu Fachgesetzen. Dabei stellen sich folgende Fragen: Welche Themen, Informationen und Daten sind wirklich für einen KI-Einsatz geeignet und erfüllen Bedürfnisse von Bürger*innen? Wie schafft man auch ohne unverständliche lange Texte die nötige Transparenz, um Vertrauen zu schaffen? Wie kann man die Daten datenschutzkonform, IT- und rechtssicher verarbeiten, speichern und veröffentlichen? Werden alle alle Bürger*innen gleich behandelt? Ist ein barrierefreier Zugang gegeben?  

Wie können angesichts dieser Herausforderungen Behörden KI alltagstauglich und sicher einsetzen – ohne das Vertrauen der Bürger*innen zu gefährden?

KI-Vertrauen strategisch absichern

Behörden müssen Risiken beim Einsatz von KI frühzeitig identifizieren, systematisch bewerten und gezielt mindern – insbesondere bei Hochrisiko-KI Systemen und sensiblen Anwendungen mit Auswirkungen auf Grundrechte. Dafür benötigen sie eine tragfähige Strategie mit vier zentralen Elementen:

1. Ethische Prinzipien operationalisieren: Behörden müssen Fairness, Nichtdiskriminierung und Transparenz in die Praxis überführen. Möchte man dafür KI einsetzen,  gehören dazu der bewusste Umgang mit potenziell verzerrten Trainingsdaten und Halluzinationen und Maßnahmen gegen ein übermäßiges Vertrauen in die KI bei der Entscheidungsfindung, dem Schaffen eines Bewusstseins guter fachlichen Praxis sowie eine verständliche Kommunikation gegenüber Bürger*innen beim Einsatz von KI.
2. Organisation und Zuständigkeiten klären: Der Erfolg von KI-Projekten hängt maßgeblich von klaren Verantwortlichkeiten ab. Wer trifft Entscheidungen zur Datenauswahl, wer prüft die Modelle auf Rechtskonformität, und wer dokumentiert Änderungen? Fehlende Zuständigkeiten führen zu Unsicherheiten, Verzögerungen und rechtlichen Risiken.
3. Interdisziplinäre Zusammenarbeit stärken: Eine wirksame KI-Governance gelingt nur, wenn Datenschutz, Recht, IT und Fachabteilungen gemeinsam arbeiten. So lassen sich technische, rechtliche und fachliche Anforderungen sinnvoll verbinden und Zielkonflikte frühzeitig erkennen.
4. Datenmanagement, Technische Robustheit und kontinuierliches Monitoring: Wirksame Monitoring-Mechanismen, umfassendes Logging, strikte Zugriffskontrollen sowie Qualitätsmanagement hinsichtlich der verwendeten Daten und technischer Redundanzen ist essenziell. Regelmäßige Audits und Tests unterstützen ein flexibles Management neuer Anforderungen und helfen, die Systeme kontinuierlich zu verbessern.

Doch Vertrauen entsteht nur, wenn Behörden neben klaren Strukturen auch die konkreten Risiken ihres KI-Einsatzes kennen und kontrollieren.

Typische Risiken erkennen und gezielt steuern

Behörden müssen KI-Systeme mit besonderer Sorgfalt einsetzen – vor allem in sensiblen Bereichen oder nach KI-VO definierten Hochrisiko-KI-Systemen, wie beim Einsatz von Medizinprodukten, in der Sozialverwaltung  oder zur Gewährleistung der öffentlichen Sicherheit. Denn dort können Fehlentscheidungen Grundrechte verletzen und das Verhältnis zwischen Verwaltung und Bürger*innen dauerhaft belasten.

Ein zentrales Risiko ist die mangelnde Nachvollziehbarkeit vieler KI-Modelle – die sogenannte „Black Box“-Problematik. Wenn Ergebnisse oder Empfehlungen nicht verständlich sind, untergräbt das die Pflicht zur Nachvollziehbarkeit und erschwert die Akzeptanz. Daher sind Informationspflichten nach KI-VO zu erfüllen. Auch der Datenschutz bleibt im Fokus: KI und gespeicherte Chatverläufe können beabsichtigt oder unbeabsichtigt Personenprofile erzeugen, Überwachung und Kontrolle erleichtern oder Informationen zweckentfremden. Das verstößt gegen Prinzipien wie Datenminimierung oder Zweckbindung und kann rechtliche Folgen nach sich ziehen.

Ein weiteres Risiko liegt im Diskriminierungspotenzial. Wer historische Daten nutzt, übernimmt oft bestehende gesellschaftliche Vorurteile. So kann es zu ungewollter Benachteiligung kommen – etwa bei Bewerbungsverfahren, bei der Leistungsprüfung oder bei sicherheitsrelevanten Entscheidungen. 

Kommt es zu fehlerhaften Entscheidungen, müssen diese korrigierbar sein. Rechtsmittel der Bürger*innen sind möglich und es muss klar sein, wer die Verantwortung für KI-gestützte Entscheidungen trägt. Behörden müssen daher Zuständigkeiten eindeutig regeln – von der Datenauswahl bis zur Systemüberwachung. Gleichzeitig steigt durch komplexe IT-Strukturen und viele Schnittstellen zu anderen Systemen das Risiko für Cyberangriffe. Nur mit gezielten Schutzmaßnahmen lassen sich diese Schwachstellen wirksam reduzieren.

Um KI- und Datenschutzrisiken zu begegnen, brauchen Behörden klare Bewertungsmaßstäbe. DSGVO und EU AI Act schaffen dafür einen verbindlichen Rahmen – vor allem bei sogenannten Hochrisiko-Anwendungen. Ergänzend dazu braucht es die Umsetzung im Verwaltungsalltag: Folgeabschätzungen, Audits, Tests, lückenlose Dokumentation und menschliche Kontrolle entlang der gesamten KI-Wertschöpfung – von der Datenauswahl bis zur Nutzung. So sichern Behörden Transparenz, Verlässlichkeit und Rechtskonformität langfristig ab.

KI Governance wirksam umsetzen

Ob ein KI-Projekt gelingt, hängt selten vom Einkauf der Technik ab – meist scheitert es an fehlenden Strukturen, Prozessen und mangelnder Zusammenarbeit. Ein häufiges Problem: IT-Abteilungen entwickeln KI-Lösungen isoliert, ohne frühzeitig Fachleute aus Recht, Datenschutz oder Sicherheit einzubeziehen und ein gemeinsames Verständnis für Anwendungsfälle zu entwickeln. Erfolgt deren Einschätzung erst nachträglich, ist es vorprogrammiert,  dass rechtliche und fachliche Prüfungen die Umsetzung verzögern oder ganz stoppen müssen.

Behörden brauchen deshalb eine klare Strategie und Governance für KI-Projekte. Sie müssen festlegen, welche Aufgaben KI tatsächlich unterstützen kann – und wer für Entscheidungen, Prüfung und Dokumentation zuständig ist. IT, Recht, Datenschutz und Fachabteilungen sollen von Anfang an gemeinsam arbeiten. Nur so entsteht ein belastbares Verständnis für die Chancen und Risiken der Systeme.

Governance darf dabei nicht allein auf dem Papier stehen. Behörden müssen sie im Alltag leben – mit Kompetenz-Schulungen für ihre Mitarbeitenden, welche KI nutzen sollen, klaren Kommunikationswegen und festen Abläufen für regelmäßige Reviews und Rückmeldungen. So stärken sie ihre KI-Kompetenz, bauen Vertrauen auf und setzen KI sicher und wirksam ein.

Technologische Prinzipien verankern

Neben organisatorischen Strukturen braucht es technische Maßnahmen für einen verantwortungsvollen KI-Einsatz. Drei etablierte Grundsätze sind dabei zentral:

1. Explainable AI: KI-Systeme müssen so gestaltet sein, dass ihre Entscheidungswege nachvollziehbar bleiben. Bürger*innen, Mitarbeitende und Aufsichtsbehörden sollen verstehen können, wie ein Ergebnis zustande kommt. Informationspflichten sind einzuhalten. Nur so lassen sich Transparenz, Kontrolle und effektive Rechtsmittel sichern.
2. Privacy by Design: Datenschutz muss Teil der technischen Systemarchitektur sein. Schon bei der Entwicklung sollten Verantwortliche festlegen, welche Daten verarbeitet werden, wie deren Umfang minimiert wird und welche Schutzmechanismen integriert werden – wie in der DSGVO ausdrücklich gefordert.
3. Human-in-the-Loop: Menschen müssen KI-basierte Entscheidungen überblicken und eingreifen können, um fachlich richtiges und gesetzmäßiges Verwaltungshandeln sicherzustellen. 

Diese Prinzipien stärken die Integrität von KI-Systemen und sichern ihre Anwendbarkeit im rechtlich sensiblen Umfeld der Verwaltung.

Mit Verantwortung gestalten

Behörden müssen KI verständlich erklären, wirksam kontrollieren und nachvollziehbar gestalten. Nur so entstehen digitale Dienste, die sicher funktionieren und gesellschaftlich akzeptiert sind. Mit dem Einsatz wachsen auch die Erwartungen der Bevölkerung. KI-Systeme sollen verständlich entscheiden und fair bleiben. Um diesen Anforderungen gerecht zu werden, brauchen Behörden klare Zuständigkeiten, überprüfbare Abläufe und den Mut, Systeme bei Bedarf zu korrigieren. So entsteht Vertrauen: durch klare Regeln und konsequentes Handeln.