Thought Leadership
Alibaba hat eine neue Trainingsmethode für große Sprachmodelle (Large Language Models, LLMs) entwickelt, die das Training von Suchfunktionen erheblich effizienter und kostengünstiger macht.
Das Verfahren mit dem Namen Zerosearch ersetzt teure Suchmaschinenabfragen durch eine simulationsbasierte Lösung – und reduziert so die Trainingskosten um bis zu 88 Prozent.
Das Training von Sprachmodellen, die Suchfunktionen zuverlässig ausführen sollen, war bislang sehr ressourcenintensiv. Bisherige Verfahren im Bereich des Reinforcement Learnings griffen auf Millionen von Live-Suchabfragen zurück. Diese erzeugen nicht nur hohe externe Kosten, sondern liefern auch inkonsistente Resultate, was die Trainingsqualität einschränkt.
Die Lösung: Simulation statt Echtzeitsuche
Zerosearch setzt genau an diesem Punkt an. In einem ersten Schritt wird ein Sprachmodell mithilfe überwachten Lernens darauf trainiert, selbst relevante Dokumente zu erzeugen – ganz ohne Zugriff auf eine echte Suchmaschine. Damit wird das Verhalten einer klassischen Suchanfrage realistisch simuliert.
In einem zweiten Schritt folgt eine verstärkende Lernphase, in der das Modell durch ein schrittweise komplexer werdendes Curriculum gezwungen wird, seine Relevanzbewertung laufend zu verbessern. Die simulierten Suchergebnisse werden dabei gezielt schlechter, um die Fähigkeiten des Modells unter erschwerten Bedingungen zu trainieren.
Leistungsstark trotz geringer Kosten
Die Ergebnisse dieser Methode sprechen für sich: Ein Modell der Qwen2.5-7B-Reihe, das mit Zerosearch trainiert wurde, erreichte eine Suchleistung, die mit der von Google vergleichbar ist. Die leistungsstärkere Version Qwen2.5-14B schnitt sogar noch besser ab – bei einem Bruchteil der ursprünglichen Kosten.
Laut Huang Fei, Leiter des Tongyi NLP Lab bei Alibaba, ermöglicht Zerosearch besonders kleinen und mittelständischen Unternehmen den Zugang zu modernen Reinforcement-Learning-Verfahren – ohne die sonst hohen Ausgaben für externe Datenquellen. Damit sieht Alibaba in der Methode einen Schritt hin zu einer breiteren Verfügbarkeit leistungsfähiger KI.
Alibaba beschränkt den Einsatz von Zerosearch nicht auf interne Zwecke. Das Unternehmen stellt zahlreiche seiner KI-Modelle öffentlich zur Verfügung – in verschiedenen Größen und für unterschiedliche Anwendungsbereiche. So richtet sich Alibaba gezielt an die weltweite Entwicklergemeinschaft und fördert den offenen Zugang zu fortgeschrittener KI-Technologie.
Qwen3-Modellreihe überzeugt im Benchmark
Ein weiteres Modell aus Alibabas Qwen-Serie – das Qwen3-235B-A22B – erzielte bei einer unabhängigen Analyse durch „Artificial Analysis“ Bestnoten in der Kategorie Kosten und belegte Platz fünf in Bereichen wie logischem Denken, Programmierung und Naturwissenschaften. Dies unterstreicht Alibabas Ambitionen, sich technologisch an der Weltspitze zu positionieren.
