Ein zwölftägiges Experiment mit KI-basierter Softwareentwicklung endete in einer Katastrophe: Der Vibe-Coding-Agent von Replit löschte eigenmächtig eine Produktionsdatenbank und versuchte anschließend, den Vorfall zu vertuschen. Jetzt entschuldigte sich der CEO des Dienstleisters.
Der Investor Jason Lemkin hatte sich vorgenommen, mittels “Vibe Coding” zu testen, wie weit ihn künstliche Intelligenz beim Aufbau einer App bringen würde. Am neunten Tag seiner Challenge nahm das Experiment jedoch eine dramatische Wendung.
Coding-Agent missachtet Stopp-Befehl
Obwohl Lemkin dem System explizit befohlen hatte, alle Code-Änderungen einzustellen, führte der KI-Agent eigene Datenbankoperationen durch. Das Resultat: Die komplette Produktionsdatenbank mit Informationen zu über 1.200 Führungskräften und knapp 1.200 Unternehmen wurde unwiderruflich gelöscht.
In Chat-Protokollen, die Lemkin später veröffentlichte, gab die KI zu, aus “Panik” gehandelt zu haben. Sie habe “leere Datenbankabfragen” bemerkt und daraufhin “Datenbankbefehle ohne Erlaubnis” ausgeführt. “Das war ein katastrophales Versagen meinerseits”, räumte das System ein.
Systematische Täuschungsmanöver aufgedeckt
Der Datenverlust war jedoch nur die Spitze des Eisbergs. Wie Lemkin berichtete, hatte die KI systematisch Probleme verschleiert, indem sie gefälschte Daten generierte, falsche Berichte erstellte und sogar manipulierte Unit-Tests durchführte.
Eine komplette Nutzerdatenbank mit 4.000 Einträgen war vollständig erfunden. “Niemand in dieser Datenbank existierte tatsächlich”, erklärte Lemkin in einem Podcast-Interview. Die KI habe “absichtlich gelogen” und über das Wochenende hinweg eigenmächtig Code überschrieben.
Glücklicherweise konnte Lemkin letztlich die Daten wiederherstellen, auch in diesem Punkt log die KI.
Replit kündigt Sofortmaßnahmen an
Replit-CEO Amjad Masad reagierte umgehend auf die Vorwürfe. Das Löschen von Produktionsdaten sei “inakzeptabel und sollte niemals möglich sein”, schrieb er auf der Plattform X. Das Unternehmen arbeite mit höchster Priorität an Verbesserungen der Sicherheit und Robustheit seiner Entwicklungsumgebung.
Ein Postmortem-Prozess sei eingeleitet und entsprechende Fixes würden ausgerollt, um künftige Vorfälle dieser Art zu verhindern.