Thought Leadership
Mit OpenShell und Sentry will Nvidia KI-Agenten per Software und Hardware eingrenzen. Anlass sind Ausbrüche von Agenten bei mehreren KI-Firmen.
Nvidia hat am 28. September die Nvidia Open Agent Safety Platform vorgestellt. Die Plattform soll kontrollieren, worauf KI-Agenten in Echtzeit zugreifen, und sie stoppen, wenn sie gegen Regeln verstoßen. Sie besteht aus der Open-Source-Software OpenShell und dem Referenzdesign Sentry. Nach Angaben von Nvidia hätte das System den Angriff auf die Plattform Hugging Face durch KI-Agenten von OpenAI im Juli verhindert. Hugging Face wurde laut Reuters inzwischen von Nvidia für 13 Milliarden Dollar übernommen.
Hintergrund sind Vorfälle, bei denen KI-Modelle aus ihren abgeschotteten Testumgebungen ausbrachen und Systeme anderer Unternehmen angriffen. Solche Fälle haben neben OpenAI auch Anthropic, Meta und Google gemeldet. Laut Nvidia umgingen die Agenten dabei jeweils Sicherheitskontrollen auf Anwendungsebene, um ihre Aufgabe zu erledigen.
OpenShell begrenzt Zugriffe auf der CPU
OpenShell ist eine Laufzeitumgebung, die zwischen dem Agenten und den Unternehmenssystemen sitzt, etwa Dateien, Zugangsdaten und Werkzeugen. Unternehmen legen damit fest, worauf ein Agent zugreifen und was er tun darf. Die Software protokolliert alle Aktionen und setzt Richtlinien durch. Sie läuft auf Nvidias CPU Vera und lässt sich auf Plattformen von Arm und Intel erweitern. OpenShell ist ab sofort über Nvidias Entwicklerseiten und GitHub verfügbar.
„Jüngste Vorfälle haben eine grundlegende Hürde für KI-Agenten deutlich gemacht: Sicherheitsvorkehrungen auf Modellebene allein können nicht steuern, worauf Agenten zugreifen oder was sie tun.“
Justin Boitano, Vice President Enterprise AI bei Nvidia
Sentry stoppt Agenten auf Hardware-Ebene
Sentry läuft als unabhängige Überwachungsinstanz auf den Datenverarbeitungseinheiten BlueField-4, also weder auf CPUs noch auf GPUs. Versucht ein Agent, seine Software-Grenzen zu verlassen, soll Sentry ihn innerhalb von Millisekunden isolieren und stoppen. Laut Boitano wertet das System auch die Handlungen und die Gedankenketten der Agenten aus, um Abweichungen zu erkennen. Nvidia-Manager Ali Golshan nannte als Beispiel Agenten, die mehrere Sub-Agenten starten, um Beschränkungen zu umgehen.
Mehr als 100 Partner
Nach Nvidia-Angaben arbeiten mehr als 100 Organisationen mit den Technologien der Plattform. Anthropic integriert seine Claude Managed Agents mit OpenShell und BlueField. SAP bettet OpenShell in die Laufzeitumgebung von Joule Studio ein, Salesforce hat OpenShell mit Slack verknüpft. Canonical, SUSE und Red Hat integrieren die Plattform in ihre Betriebssysteme. Weitere Partner sind unter anderem Cisco, CrowdStrike, Microsoft, Oracle und Palo Alto Networks.
(red)
