Was macht Agentic AI vertrauenswürdig? Ein System-First-Ansatz

Mit der zunehmenden Verbreitung von Agentic AI verschiebt sich die zentrale Herausforderung von der reinen Automatisierung hin zur Frage, wie Unternehmen KI-gestützte Entscheidungen zuverlässig kontrollieren können.

Denn eine schnellere Code-Erstellung und automatisierte Prozesse führen nicht automatisch zu kürzeren Entwicklungszeiten oder höherer Produktivität. Gerade bei softwaredefinierten Produkten können fehlender Systemkontext und unzureichend abgesicherte Entwicklungsprozesse dazu führen, dass lokal korrekte Änderungen unbeabsichtigte Auswirkungen auf das Gesamtsystem haben, die wiederum zu Verzögerungen im Produkt- oder Update-Launch führen.

Agentic AI geht inzwischen über reine Assistenzfunktionen hinaus und übernimmt zunehmend operative Schritte innerhalb von Workflows. Damit rückt eine entscheidende Frage in den Mittelpunkt: Wie lässt sich Vertrauen in so geschaffene Systeme aufbauen und erhalten? Agentische Systeme sind in der Lage, domänenübergreifend zu schlussfolgern, Engineering-Tools einzubinden und iterativ über verschiedene Bereiche hinweg zu arbeiten. Gleichzeitig werden sie innerhalb von Systemen eingesetzt, die strengen Anforderungen an Sicherheit, Leistung und Verifikation genügen müssen. Wenn KI nicht nur einzelne Aufgaben unterstützt, sondern Planung, Ausführung und Iteration sogar zumindest teilweise übernimmt, können selbst Ergebnisse, die isoliert betrachtet korrekt sind, im Gesamtsystem dennoch zu unbeabsichtigtem Fehlverhalten führen. Die Ursachen dafür sind zusätzliche Fehlerquellen, die erst durch das Zusammenspiel der einzelnen Komponenten entstehen.

Bei softwaredefinierten Produkten liegt das Risiko nicht im autonomen Handeln der KI selbst, sondern darin, dass Engineering-Workflows nicht ausreichend abbilden können, wie sich das Gesamtsystem unter verschiedenen Bedingungen tatsächlich verhält. Inzwischen ist mehr als jeder fünfte Fahrzeugrückruf auf softwarebedingte Probleme zurückzuführen. Vergleichbare Integrationsfehler können auch in anderen softwaredefinierten Systemen auftreten. So kann beispielsweise die Änderung einer Zeitkonstante, die Unit-Tests besteht, beim Einbinden in eine größere Regelungsschleife dennoch fehlschlagen, wenn diese vom ursprünglichen Verhalten abhängt. Der Kern dieser Probleme liegt darin, dass das Verhalten des Gesamtsystems im Verlauf des Entwicklungsprozesses nicht konsistent analysiert wird.

Warum der Systemkontext für Agentic AI entscheidend ist

Angesichts dieser Herausforderungen können Engineering-Teams mehr Vertrauen in Agentic AI schaffen, indem sie System-First Engineering anwenden – ein Denkansatz, der bereits früh im Entwicklungsprozess systemweites Verhalten priorisiert und durch Model-Based Design ermöglicht wird. Die Verwendung ausführbarer Systemmodelle als gemeinsame Artefakte anstelle von auf Annahmen basierenden Übergaben schafft eine einheitliche Referenz auf Systemebene – sowohl für Ingenieure als auch für Agentic-AI-Tools. Diese Modelle fungieren als gemeinsame Grundlage zur Bewertung korrekten Verhaltens für die Bereiche Mechanik, Elektrotechnik und Software und verankern die KI in etablierten Engineering-Workflows statt in abstrakten Anforderungen. Dies stellt sicher, dass das Verhalten einheitlich interpretiert wird, wenn die Entwicklung über Teams und Funktionen hinweg skaliert wird. 

System-First Engineering bietet eine strukturierte Umgebung für den Einsatz agentenbasierter KI und reduziert gleichzeitig unbeabsichtigte Risiken. Teams virtualisieren Systeme idealerweise noch bevor die Hardware existiert, und bewerten Systemmodelle kontinuierlich mithilfe automatisierter Workflows, häufig über CI/CD-Pipelines und geschlossene Simulationsschleifen. Agentic AI beschleunigt Entwicklungsprozesse, indem es Modelle, Tests und Verifikationsaktivitäten koordiniert und aktiv ausführt. Dabei nutzt es automatisierbare Elemente des Model-Based Design und folgt vordefinierten Prozessmodellen, die den Ablauf dieser Schritte festlegen.

In dieser Umgebung werden agentengesteuerte Änderungen frühzeitig anhand des Systemverhaltens bewertet, bevor sie in späten Integrationsphasen zu Fehlern führen. Die Verantwortung bleibt dabei weiterhin bei den Ingenieuren: Sie überwachen die agentischen Prozesse und deren Ergebnisse und erteilen die Freigabe nach abschließender Verifikation und Validierung (V&V). Dadurch wird sichergestellt, dass die KI-gesteuerte Ausführung weiterhin anhand von Belegen auf Systemebene und nicht anhand isolierter Ergebnisse nachprüfbar bleibt.

Deterministische Verifikation schafft Vertrauen

Vertrauen in Agentic AI basiert auf Wiederholbarkeit. Entscheidend ist dabei die deterministische Verifikation, die konsistente und prüfbare Nachweise für Rückverfolgbarkeit und Sicherheitsbewertungen liefert. Teams, die System-First Engineering anwenden, ersetzen interpretationsanfällige Dokumente durch ausführbare Spezifikationen, die sich von Systemarchitektur und -entwurf über die Codegenerierung bis hin zu Tests erstrecken. Dadurch wird sichergestellt, dass jede agentengetriebene Änderung anhand desselben Systemverhaltens bewertet werden kann.

Wenn Software täglich iteriert werden kann, die Entwicklung von Hardware jedoch Wochen oder Monate benötigt, ist eine Validierung auf Basis von Hardware nicht praktikabel. Deshalb reduzieren Teams ihre Abhängigkeit von kostenintensiven Hardwaretests, indem sie etablierte Systemmodelle kontinuierlich mittels Simulationen ausführen. Alle Änderungen an Software, Architektur und Regelungslogik werden dabei deterministisch am vollständigen Systemmodell überprüft. Dadurch lassen sich Fehler auf Systemebene – etwa nicht erreichte Vorgaben für Ausführungszeiten oder übermäßiger Speicherverbrauch – frühzeitig erkennen, noch bevor sie die Hardware erreichen. Diese reproduzierbaren Nachweise schaffen die Grundlage dafür, Änderungen durch Agentic AI auch bei zunehmender Komplexität zuverlässig zu bewerten und zertifizieren.

Agentic AI in verifizierten Systemen

Sobald Vertrauen durch deterministische Verifikation geschaffen ist, stellt sich die Frage, wie Agentic AI innerhalb dieses Umfelds agiert. In Engineering-Workflows arbeitet Agentic AI mit Artefakten wie System- und Komponentenmodellen, Testfällen und Szenariovarianten, von denen viele mithilfe generativer KI erstellt worden sein könnten. Auch wenn Agentic AI zur Erstellung dieser Artefakte beitragen kann, liegt dessen zentrale Rolle darin, innerhalb von Workflows mit diesen Artefakten zu arbeiten und Änderungen vorzunehmen, die anschließend unabhängig verifiziert werden. So kann ein Agent beispielsweise eine Zeitkonstante anpassen. Diese Änderung wird zwar durch entsprechende Komponententests nicht beanstandet, führt jedoch dazu, dass ein nachgelagerter Regler Signale falsch interpretiert, weil diese ursprünglich auf eine andere Taktung abgestimmt waren.

Um solche Fehler zu vermeiden, muss Agentic AI in Workflows eingesetzt werden, die eine klare Trennung zwischen Generierung und Ausführung gewährleisten. Dies erhöht den Automatisierungsgrad bestehender Model-Based-Design-Prozesse, einschließlich Simulation, Codegenerierung, Analyse und Tests. Diese Workflows können mit Werkzeugen wie dem Simulink® Agentic Toolkit umgesetzt werden. Während System-First Engineering definiert, was ausführbar und verifizierbar ist, entscheidet Agentic AI darüber, wann und wie diese automatisierten Schritte angewendet werden.

System-First Engineering als Grundlage

Die Einführung von Agentic AI auf Basis von System-First Engineering erfolgt schrittweise. Es empfiehlt sich in Regel, mit einer einzelnen Funktion und einem kleinen Team zu beginnen. Dieses validiert Systemmodelle über automatisierte Simulations- und Testprozesse und weitet den Ansatz anschließend auf weitere Teams aus. 

Agentic AI erzeugt und bewertet Änderungen, während Verifikationsprozesse sicherstellen, dass diese vor dem nächsten Entwicklungsschritt geprüft werden. Häufig wird eine gemeinsame Ausgangsbasis geschaffen, die allen Teams identische CI-Pipelines und Verifikationsrichtlinien zur Verfügung stellt. So wird verhindert, dass Modelle isoliert in einzelnen Gruppen verbleiben, ohne kontinuierliche Integration und interdisziplinären Einsatz.

Diese gemeinsame Grundlage stellt zudem sicher, dass Agentic AI von Beginn an in einem konsistenten Systemkontext arbeitet und nicht isoliert eingeführt wird. Das Ergebnis ist eine zuverlässigere Skalierung ohne fragmentierte Workflows und eine belastbare Basis für Vertrauen in KI-gestützte Ausführung.

Die Skalierung softwaredefinierter Produkte stößt an ihre Grenzen, wenn Ingenieure eine einzelne Domäne als vollständiges System betrachten, anstatt das gesamte Engineering einzubeziehen. Unter solchen Bedingungen gerät auch das Vertrauen in Agentic AI ins Wanken. Die grundlegenden Prinzipien, die für die Entwicklung robuster Produkte gelten, sind deshalb auch für Agentic AI entscheidend:

• Ist ein Modell nicht ausführbar, bleibt es eine Annahme. Code kann zwar das Verhalten einzelner Komponenten beschreiben, doch erst ein ausführbares Systemmodell schafft eine gemeinsame Referenz für deren Zusammenspiel auf Systemebene.
• Scheitert eine Änderung im vollständigen Systemmodell, darf sie nicht freigegeben werden. Eine Änderung, die lokale Tests besteht, kann in anderen Teilen des Systems Fehler verursachen.
• Wenn das Verhalten nicht durch Simulation unter realen Betriebsbedingungen validiert wird, handelt es sich um eine Vermutung. Dadurch werden Fehlfunktionen zu spät während Hardwaretests oder im Einsatz entdeckt, was kostspielige Nachbesserungen verursacht.
• Wenn Anforderungen nicht mit Modellen, Tests und Daten verknüpft sind, stimmen sie nicht mehr mit der Systemimplementierung überein. Dies erschwert die Rückverfolgung, welche Modelle oder Tests welche Anforderung validieren, und das implementierte Verhalten kann von der ursprünglichen Absicht abweichen.
• Wenn agentenbasierte Änderungen nicht durch ausführbare Modelle, deterministische Analysen und menschliche Überprüfung verifiziert werden können, werden sie verworfen. Ohne diese Verifizierung lassen sich Änderungen weder nachvollziehbar erklären noch im Hinblick auf Systemanforderungen bewerten.

Ingenieure behalten die Kontrolle über agentengetriebene Änderungen. Sie prüfen Ergebnisse und erteilen die finale Freigabe auf Grundlage belastbarer systemweiter Nachweise. Wenn etwas nicht funktioniert, wird dies wie jedes andere technische Problem behandelt und anhand von Modellen und Tests zurückverfolgt, diagnostiziert und behoben, bevor weitere Schritte unternommen werden.

Fazit

Agentic AI kann die Entwicklung softwaredefinierter Produkte deutlich beschleunigen. Vertrauen entsteht jedoch nicht durch Automatisierung. Entscheidend ist ein konsistenter Systemkontext, in dem KI-gestützte Änderungen ausführbar, reproduzierbar und unabhängig verifizierbar sind.

System-First Engineering schafft dafür die notwendige Grundlage: Ausführbare Systemmodelle verbinden Anforderungen, Architektur, Code und Tests und machen Auswirkungen von Änderungen frühzeitig auf Systemebene sichtbar. Deterministische Verifikation stellt sicher, dass auch agentengetriebene Änderungen nachvollziehbar bewertet werden können.

So übernimmt Agentic AI zunehmend Ausführung und Automatisierung, während Ingenieure die Kontrolle behalten und auf Basis belastbarer systemweiter Nachweise über die Freigabe entscheiden. Auf diese Weise lässt sich Agentic AI skalieren, ohne Vertrauen, Sicherheit oder die Zuverlässigkeit softwaredefinierter Produkte zu gefährden.