Thought Leadership
Nach Fehlern in einem KI-gestützten Gutachten erstattet die Beratungsfirma Deloitte der australischen Regierung einen Teil der Vergütung. Das Dokument sollte ein automatisiertes Sanktionssystem für Sozialleistungsempfänger bewerten – enthielt aber erfundene Quellenangaben.
Die australische Regierung steht vor einem Vertrauensproblem: Ein von Deloitte erstelltes Gutachten über ein automatisiertes Compliance-System im Sozialbereich weist derart gravierende Mängel auf, dass die Beratungsfirma nun Geld zurückzahlen muss. Der ursprüngliche Auftragswert betrug 440.000 US-Dollar.
Automatische Sanktionen unter der Lupe
Das Ministerium für Beschäftigung und Arbeitsbeziehungen hatte Deloitte 2024 beauftragt, die technische Infrastruktur und rechtlichen Grundlagen eines Systems zu prüfen, das Sozialleistungsempfänger automatisch sanktioniert. Wer Termine versäumt oder Einkommensmeldungen unterlässt, muss mit Geldstrafen rechnen.
Die Prüfung sollte vier zentrale Aspekte klären: Rechtmäßigkeit des Systems, Übereinstimmung mit geltenden Gesetzen, technische Funktionsfähigkeit sowie potenzielle Risiken der automatisierten Abläufe.
Erfundene Quellen im offiziellen Dokument
Als das Gutachten im Juli 2025 vorgelegt wurde, fiel schnell auf: Zahlreiche Quellenangaben waren fehlerhaft oder verwiesen ins Leere. Dr. Christopher Rudge von der Universität Sydney machte als Erster auf die Probleme aufmerksam. Seine Analyse zeigte, dass Deloitte die Fehler zunächst durch noch mehr fragwürdige Referenzen ersetzte, statt sie zu korrigieren.
Fachleute vermuten laut Guardian, dass eine KI an Stellen mit unvollständigen Daten eigenständig Informationen ergänzte. Ein Phänomen, das in der Branche als “Halluzination” bekannt ist. Die Software erfand schlicht Fakten, wo keine vorlagen.
Kernaussagen angeblich unverändert
Deloitte räumte den KI-Einsatz ein und überarbeitete das Dokument. Die Firma betont, dass trotz der Korrekturen die wesentlichen Schlussfolgerungen und Handlungsempfehlungen Bestand hätten.
Die Höhe der Rückzahlung bleibt geheim, ebenso wie eine offizielle Stellungnahme von Deloitte. Der Vorfall illustriert die Risiken des KI-Einsatzes in kritischen Bereichen: Wenn automatisierte Systeme über das Schicksal von Menschen entscheiden, dürfen auch die Prüfinstrumente keine Lücken aufweisen.
