Thought Leadership
Mit einer bemerkenswert spezifischen Prognose warnt das renommierte Marktforschungs- und Beratungsunternehmen Gartner vor einem bevorstehenden Katastrophenszenario.
Bis 2028 werde eine fehlkonfigurierte künstliche Intelligenz in cyber-physischen Systemen die kritische Infrastruktur eines G20-Landes zum Erliegen bringen. Die ungewöhnlich konkrete Warnung richtet sich insbesondere an Betreiber von Stromnetzen, Produktionsanlagen und anderen systemrelevanten Einrichtungen.
Unter cyber-physischen Systemen (CPS) versteht Gartner technische Systeme, die Sensorik, Datenverarbeitung, Steuerung, Vernetzung und Analytik orchestrieren, um mit der physischen Welt zu interagieren. Der Begriff umfasst Operational Technology (OT), industrielle Steuerungssysteme (ICS), das industrielle Internet der Dinge (IIoT), Robotik, Drohnen sowie Industrie-4.0-Anwendungen.
Gefahr durch gut gemeinte Fehler
“Der nächste große Infrastrukturausfall wird möglicherweise nicht durch Hacker oder Naturkatastrophen verursacht, sondern durch einen wohlmeinenden Techniker, ein fehlerhaftes Update-Skript oder eine falsch gesetzte Dezimalstelle”, warnt Wam Voster, VP Analyst bei Gartner. Eine sichere Notabschaltung oder ein Override-Modus, der ausschließlich autorisierten Bedienern zugänglich ist, sei unerlässlich, um kritische Infrastrukturen vor unbeabsichtigten Ausfällen durch KI-Fehlkonfigurationen zu schützen.
Fehlkonfigurierte KI-Systeme könnten eigenständig lebenswichtige Dienste abschalten, Sensordaten fehlinterpretieren oder unsichere Aktionen auslösen. Dies könne zu physischen Schäden oder großflächigen Serviceunterbrechungen führen und stelle direkte Bedrohungen für die öffentliche Sicherheit und wirtschaftliche Stabilität dar.
Stromnetze besonders gefährdet
Ein konkretes Beispiel sind moderne Stromnetze, die auf KI zur Echtzeitbalancierung von Erzeugung und Verbrauch angewiesen sind. Ein fehlkonfiguriertes Vorhersagemodell könnte normale Nachfrageschwankungen als Instabilität interpretieren und unnötige Netzabschaltungen oder Lastabwürfe über ganze Regionen oder sogar Länder hinweg auslösen.
“Moderne KI-Modelle sind so komplex, dass sie oft ‘Black Boxes’ gleichen”, erklärt Voster. Selbst Entwickler könnten nicht immer vorhersagen, wie sich kleine Konfigurationsänderungen auf das emergente Verhalten des Modells auswirken. Je undurchsichtiger diese Systeme werden, desto größer sei das Risiko durch Fehlkonfigurationen und umso wichtiger die Möglichkeit menschlichen Eingreifens.
Drei zentrale Empfehlungen
Gartner empfiehlt Chief Information Security Officers (CISOs) drei konkrete Maßnahmen:
Erstens sollten sichere Override-Modi implementiert werden, eine Art Notabschaltung für alle kritischen Infrastruktur-CPS, die nur autorisierten Bedienern zugänglich ist und sicherstellt, dass Menschen auch bei vollständiger Autonomie die ultimative Kontrolle behalten.
Zweitens rät Gartner zur Entwicklung vollständiger digitaler Zwillinge der kritischen Infrastruktursysteme, um Updates und Konfigurationsänderungen vor dem Einsatz realistisch zu testen.
Drittens sollte eine verpflichtende Echtzeitüberwachung mit Rollback-Mechanismen für Änderungen an KI in CPS eingeführt werden, verbunden mit der Schaffung nationaler KI-Notfallteams.
