Warum AI Gateways zum Schutz nötig sind

KI-Agenten benötigen Zugang zu Ressourcen wie Dienste, Tools und Daten, um ihre Aufgaben zu erfüllen. Aber dieser Zugriff darf nicht unbegrenzt sein. Damit er nur im entsprechenden Kontext erlaubt ist, sind so genannte AI Gateways essenziell, die auf APIs basieren.

Alle aktuellen Geschäftsanwendungen stellen ihre Funktionen über APIs bereit. Dabei konsolidieren Gateways API-übergreifende Funktionen wie Benutzerzugriff, Autorisierung und Service-Erkennung. Auch für KI-Agenten sind APIs von entscheidender Bedeutung. Denn sie benötigen eine klare Abgrenzung, auf welche Ressourcen sie zugreifen dürfen und welchen Sicherheitskontext sie für ihrer Aktionen verwenden sollen.

Wenn ein Agent mehrere Aufgaben ausführt, sind eventuell verschiedene Autorisierungen unter Verwendung unterschiedlicher Sicherheitskontexte nötig. Auch Eingaben und Antworten variieren stark und entwickeln sich im Laufe der Zeit weiter. Zudem steigt der Bedarf an leistungsfähigen APIs mit der Anzahl der Agenten. APIs müssen daher einen angemessenen Zugriff automatisch und in großem Umfang ermöglichen.

Der KI-Torwächter

Bestehende Lösungen für die API- und Anwendungssicherheit reichen daher nicht aus, um KI-Modelle und -Anwendungen zu schützen. Der F5 AI Gateway sichert, beschleunigt und überwacht dagegen speziell KI-gestützte Anwendungen. Dabei erfüllt er die wichtigsten Anforderungen für ihre Bereitstellung und die OWASP LLM Top Ten-Liste für die Sicherheit.

Zusätzliche Funktionen ermöglichen die Berichterstattung zu vielen Metriken mit Hilfe von OpenTelemetry, die sorgfältige Beachtung von Audit- Protokollanforderungen, semantisches Caching, Ratenbegrenzung und inhaltsbasiertes Modell-Routing. Sie gewährleisten die Unterstützung aller drei Anforderungen an die Bereitstellung und Sicherheit von KI: beobachten, schützen und beschleunigen. Dabei können Unternehmen die Lösung durch ein Plug-in-Ökosystem an individuelle Anforderungen anpassen. Es wird durch ein Software Development Kit (SDK) für Python, Rust und Go unterstützt.

Datenlecks erkennen und verhindern

Hinzu kommt das Erkennen und Verhindern von Datenlecks in KI-gestützten Anwendungen. Dazu integriert die Lösung eine proprietäre Echtzeit-Datenklassifizierungs-Engine überall dort, wo KI-Eingaben und -Antworten erfolgen. So können KI-Konversationen nahtlos fortgesetzt werden, während die Sicherheit für die Inferenz gewährleistet ist. Dabei erkennt AI Gateway ein breites Spektrum sensibler Inhalte, etwa:

• Personenbezogene Daten (PII) wie Identifikationsnummern, E-Mail-Adressen, Post-Adressen und Telefonnummern
• Finanzdaten einschließlich Kontonummern, Kreditkartennummern und Transaktionsaufzeichnungen
• Gesundheitsdaten bis hin zu Behandlungsnotizen
• Sensible Informationen wie Quellcode oder Konfigurationsdateien
• Vertrauliche Dokumente, die im Unternehmen bleiben müssen

Erkennt die Lösung zu schützende Inhalte, steuern vordefinierte Richtlinien den Datenfluss. Dies geschieht durch Protokollierung des Ereignisses für Audits, Schwärzung des sensiblen Textes oder vollständige Blockierung der Eingabeaufforderung oder Antwort. Mit der Durchsetzung von Richtlinien in Echtzeit stellen Unternehmen sicher, dass sensible Daten niemals die Umgebung verlassen oder zur Erzeugung von Ausgaben beitragen.

Einfache Einrichtung

Als Bestandteil der F5 ADSP (Application Delivery and Security Platform) ist AI Gateway einfach einzurichten und zu optimieren. Teams können mit minimalem Aufwand Richtlinien erstellen und Erkennungsparameter für verschiedene Umgebungen verfeinern. Erweiterte Erkennungsfunktionen lassen sich mit eingesetzten Sicherheitstools verbinden, beispielsweise mit SIEM- (Security Information and Event Management) und SOAR-Plattformen (Security Orchestration, Automation and Response). So können Analysten schnell Vorfälle korrelieren und automatisierte Reaktionen auslösen.

Für Entwicklerteams, die Anwendungen entwickeln, erfolgt der Inline-Durchsetzungsprozess transparent. Dabei bleibt die Geschwindigkeit und Effizienz der KI- Interaktionen gewahrt. Benutzer erhalten nur konforme Antworten, während Administratoren von Transparenz und Sicherheit in großem Maßstab profitieren, ohne die Nutzererfahrung zu beeinträchtigen.

Governance und Skalierbarkeit

KI-Implementierungen erstrecken sich oft über interne Systeme, verwaltete Cloud-Dienste und externe Inferenzpunkte in verschiedenen Regionen hinweg. AI Gateway stellt dabei sicher, dass Sicherheitsstandards in diesen Umgebungen auch während des Modell-Routings konsistent durchgesetzt werden. Dies umfasst:

• Kontinuierliche Prüfung und Überwachung des Datenzugriffs und der Datenübertragung in jeder Bereitstellungsumgebung
• Starke Authentifizierung und Autorisierung sowie Berechtigungsverwaltung und rollenbasierte Zugriffskontrolle (RBAC), um Benutzeraktionen am Prinzip der geringsten Berechtigung auszurichten
• Inline-Bewertung jeder Eingabe und Antwort, die Inhalte sofort blockiert oder redigiert, ohne auf externe Proxys oder Endpunkt-Agenten angewiesen zu sein

Durch diese Funktionen müssen Unternehmen ihre Governance-Richtlinien nur einmal festlegen. Anschließend werden sie überall dort, wo KI-Teams tätig sind, konsistent
angewendet.

Erweiterbarkeit für individuelle Anforderungen

Unternehmen definieren sensible Daten unterschiedlich, von Kundenlisten über geistiges Eigentum bis hin zu domänenspezifischen Regeln. Entsprechend ist AI Gateway hochgradig erweiterbar. So können Entwickler benutzerdefinierte Detektoren erstellen, Routing-Logik für LLMs definieren und erweiterte Bereinigungsregeln implementieren. Die Detektoren lassen sich in Durchsetzungsrichtlinien integrieren und bieten Echtzeit-Anpassungen sowie eine einheitliche Durchsetzungsebene, ohne den Betrieb zu stören.

Verbesserte Beobachtbarkeit

Governance hängt von der vollständigen Transparenz des Datenflusses ab – von Benutzer- Prompts zu KI-Modell-Antworten und zurück. AI Gateway bietet eine erweiterte
Protokollierung, die jede auf eine Eingabe angewendete Transformation und Antwort sowie Metadaten aufzeichnet. Unternehmen können somit die gesamte Datenpipeline hinweg prüfen oder visualisieren, damit Entwicklungsteams Fehler schneller beheben, Compliance- Teams die Einhaltung von Unternehmensrichtlinien überprüfen und Betriebsteams die Interaktion von KI-Tools mit der zugrunde liegenden Infrastruktur kontinuierlich optimieren.

Fazit

Mit AI Gateway verbessern Unternehmen die Interaktion zwischen Anwendungen, APIs und großen Sprachmodellen (LLMs). Die leistungsstarke containerisierte Lösung optimiert die Performance, Beobachtbarkeit und Sicherheit – und senkt die Kosten. Sie ermöglicht Betriebs- und Sicherheitsteams eine reibungslose Einführung von KI-Diensten mit einer deutlich höheren Qualität der Datenausgabe und einem besseren Nutzererlebnis.

it-sa Expo&Congress

Besuchen Sie uns in Halle 7A, Stand 7-531