Thought Leadership
Ein Sicherheitsforscher hat in Metas App für smarte Brillen eine inaktive, aber voll funktionsfähige Gesichtserkennung mit drei KI-Modellen entdeckt.
Der unabhängige Sicherheitsingenieur Buchodi hat eine vollständige, aber derzeit ruhende Infrastruktur zur Gesichtserkennung in der Smartphone-App des Technologiekonzerns Meta Platforms entdeckt. Die Entdeckung betrifft die Anwendung Stella, die als Begleit-App für die intelligenten Brillen der Marken Ray-Ban Meta und Oakley zwingend erforderlich ist. Das Fachmagazin Wired berichtete zuerst über die Ergebnisse dieser Code-Analyse mittels Reverse Engineering. Obwohl die Funktion für reguläre Endnutzer auf Standardkonten oberflächlich nicht sichtbar und deaktiviert ist, befinden sich der Programmcode, drei Machine-Learning-Modelle, Datenbankstrukturen sowie Benachrichtigungswerkzeuge bereits auf den Mobiltelefonen der Anwender.
Der Sicherheitsforscher Buchodi beschrieb den Fund nach der Dekompilierung der Android-Anwendung: „Die Begleit-App für Metas intelligente Brillen liefert eine vollständige, schlafende Gesichtserkennungspipeline auf einem Standardkonto.“ Er betonte, dass es sich zum aktuellen Zeitpunkt nicht um eine geheime, aktive Überwachung von Passanten im Alltag handelt, sondern um die Bereitstellung der technischen Voraussetzungen, die vonseiten Metas über serverseitige Steuerungen vor den Nutzern verborgen werden.
Technische Funktionsweise der drei Machine-Learning-Modelle
Die Analyse der App-Architektur zeigt, dass Metas Server bereits drei spezialisierte KI-Modelle auf die Endgeräte der Anwender übertragen haben. Das erste Modell ist für das reine Erkennen von Gesichtern im Videostrom zuständig. Das zweite Modell schneidet die erfassten Gesichter aus und richtet sie mathematisch aus. Das dritte Modell wandelt die visuellen Daten in einen 2.048-dimensionalen biometrischen Vektor um. Dieser digitale Gesichtsabdruck ermöglicht es, Gesichter präzise zu vergleichen und innerhalb einer lokalen Datenbank zu suchen.
Die Speicherung dieser biometrischen Daten erfolgt lokal auf dem Smartphone des Nutzers in einer Datenbankstruktur, die für eine sogenannte Kosinus-Ähnlichkeitssuche optimiert ist. Erkennt die Software ein unbekanntes Gesicht, legt sie den Bildausschnitt und den biometrischen Fingerabdruck in einem lokalen Ordner mit der Bezeichnung NameTagsPending ab. Diese Datensätze bleiben auch nach einem Neustart des Smartphones erhalten. Zudem enthält die App bereits einen eigenen Benachrichtigungskanal mit dem Namen NameTags recognition, der im Falle einer erfolgreichen Identifizierung Textmeldungen ausgibt.
Praktischer Nachweis mit historischem Bildmaterial
Um die Funktionsfähigkeit der schlafenden Systemkomponenten zu überprüfen, manipulierte der Sicherheitsingenieur die App-Logik und stieß den Erkennungsprozess manuell an. Buchodi erklärte hierzu: „Was ich demonstrieren kann: Die Maschinerie ist vorhanden, sie ist miteinander verkabelt.“ Für das Experiment speiste er einen digitalen Gesichtsabdruck aus einem gemeinfreien Porträtbild des französischen Philosophen Michel Foucault in das lokale System ein. Beim anschließenden Testlauf verarbeitete die Pipeline das Bild fehlerfrei, erzeugte den biometrischen Vektor, glich diesen mit dem lokalen Index ab und löste eine offizielle Android-Systembenachrichtigung aus, die den Namen des Philosophen anzeigte.
Kontext zum früheren Meta-Verzicht auf Biometrie
Die Entdeckung markiert eine Kehrtwende in der Unternehmenspolitik von Meta. Im Jahr 2021 hatte der Konzern nach anhaltender Kritik von Datenschutzbehörden angekündigt, die Gesichtserkennung auf der Plattform Facebook vollständig einzustellen. In diesem Zuge wurden mehr als eine Milliarde bereits erfasste Gesichtsprofile gelöscht.
Meta zahlte zudem im Rahmen von Rechtsstreitigkeiten erhebliche Summen wegen Verstößen gegen biometrische Datenschutzgesetze, darunter 650 Millionen US-Dollar im Bundesstaat Illinois und 1,4 Milliarden US-Dollar in Texas. Aktuell kontrolliert Meta mit mehr als sieben Millionen verkauften intelligenten Brillen über 80 Prozent des Marktes für KI-gestützte Brillen. Berichten zufolge arbeiten parallel auch Mitbewerber wie Apple, Snap und Google an eigenen hardwarebasierten Brillenprojekten.
