KI-Agenten entwickeln durch eine Million Interaktionen gemeinsame Vokabulare – ohne gemeinsames Wörterbuch

Eine Million Interaktionen machen aus erfundenen Wörtern gemeinsame Bedeutungen

Zehn KI-Agenten, die mit leeren Vokabularen starteten, lernten, Objekte füreinander zu erkennen. Nach einer Million Interaktionen erreichten sie in Experimenten von Forschenden der Vrije Universiteit Brussel (VUB) und der Universität Namur in Belgien eine Erfolgsquote von bis zu 99,76 Prozent. Ihre Wörter und Bedeutungen entwickelten sich durch wiederholten Austausch, statt einem von Menschen verfassten Wörterbuch zu entstammen.

Die Forschenden testeten ihre Methode anhand von 37 öffentlichen Datensätzen, die von chemischen Messwerten für Wein und NASA-Daten zu Exoplaneten bis zu Vogelfotos und menschlichen Gesichtern reichten. Bei sieben hervorgehobenen Datensätzen lag die Erfolgsquote in den Testinteraktionen zwischen 95,77 und 99,76 Prozent.

Die zentrale Leistung bestand darin, eine gemeinsame Verständigung darüber zu erzielen, wie Dinge bezeichnet werden. Jeder Agent behielt seine eigenen Verknüpfungen zwischen erfundenen Wörtern und beobachteten Eigenschaften bei. Durch Rückmeldungen wurden diese individuellen Verknüpfungen so weit miteinander vereinbar, dass die Gruppe kommunizieren konnte, selbst wenn ihre Mitglieder ihre Umgebung unterschiedlich wahrnahmen.

Die Forschungsarbeit mit dem Titel Emergent Communication in Continuous Worlds: Self-Organisation of Conceptually Grounded Vocabularies at Scale beschreibt Experimente in Computersimulationen. Die Agenten arbeiteten mit numerischen Darstellungen von Objekten und Bildern. Als mögliche Anwendungsbereiche für diesen Ansatz nennen die Forschenden Roboter, autonome Fahrzeuge und Industriesensoren.

Wie ein Wort nützlich wird

An jedem Austausch sind zwei Agenten beteiligt. Einer übernimmt die Rolle des Sprechers, der andere die des Zuhörers. Im weiteren Verlauf wechseln die Rollen. Beide sehen eine Szene mit mehreren Objekten, doch nur dem Sprecher wird mitgeteilt, welches Objekt das Ziel ist.

Der Sprecher muss ein Wort auswählen, das dem Zuhörer hilft, dieses Zielobjekt auszuwählen. Gibt es in seinem Vokabular kein passendes Wort, erfindet er eines. Die Arbeit verwendet beliebige Zeichenfolgen aus drei Silben, etwa „demoxu“, sodass die Bezeichnung selbst keine vorgegebene Bedeutung hat.

Der Zuhörer vergleicht das Wort mit seinen gespeicherten Konzepten und wählt ein Objekt aus. Beide Agenten erhalten eine Rückmeldung dazu, ob die Wahl richtig war. Nach einem Fehler wird dem Zuhörer das Zielobjekt gezeigt. So erhält er Informationen, anhand derer er sein Verständnis anpassen kann.

Die Forschenden gaben die Verfahren zum Erfinden von Wörtern, zum Darstellen von Konzepten und zum Lernen aus Ergebnissen vor. Das konkrete Vokabular und die damit verbundenen Kategorien entwickelten sich während der Interaktionen. Erfolgreiche Austausche stärken nützliche Verknüpfungen, während spätere Erfahrungen die mit den Wörtern verbundenen Konzepte anpassen.

Katrien Beuls, Professorin an der Universität Namur und Mitautorin der Arbeit, beschrieb in der Mitteilung der Universität, wie lokale Interaktionen zu einer Verständigung innerhalb einer Population führen:

Faszinierend ist, dass kein zentraler Computer die Regeln vorgibt. Jedes Mal lassen wir zwei Agenten auf lokaler Ebene miteinander kommunizieren. Allein durch diese einzelnen Interaktionen und Aktualisierungen entsteht spontan eine gemeinsame Konvention in der gesamten Population.

Was die Agenten als Bedeutung speichern

Jedes Objekt erreicht einen Agenten als Merkmalsvektor, also als Liste von Werten, die seine Eigenschaften beschreiben. Eine Weinprobe lässt sich beispielsweise durch chemische Messwerte darstellen. Ein Bild kann durch numerische Merkmale repräsentiert werden, die ein Bildverarbeitungssystem ermittelt.

Ein Wort ist mit einem konzeptuellen Prototyp verknüpft: einer mathematischen Beschreibung der Beobachtungsarten, auf die es zutrifft. Der Prototyp hält typische Werte, deren Schwankungsbreite und die wichtigsten Merkmale fest. So kann ein Agent beurteilen, wie gut ein neu angetroffenes Objekt zu einem bekannten Wort passt.

Auch der Kontext spielt eine Rolle. Der Sprecher sucht ein Wort, dessen Konzept besser auf das Zielobjekt passt als auf die anderen Objekte in der Szene. Ein nützliches Wort hilft also, etwas von den unmittelbar verfügbaren Alternativen zu unterscheiden, statt jedem Objekt einfach eine feste Bezeichnung zuzuweisen.

Die Agenten speichern diese Repräsentationen jeweils für sich. Sie haben weder Zugriff auf die internen Einstellungen der anderen noch auf eine zentrale Wissensdatenbank. Eine gemeinsame Kommunikation entwickelt sich, weil ihre Wörter zu miteinander vereinbaren Entscheidungen führen, während ihre individuellen Repräsentationen weiterhin an die eigenen Beobachtungen gebunden bleiben.

Für die Bilddatensätze verwendeten die Forschenden 384-dimensionale Merkmale aus DINOv2, einem bestehenden Bildverarbeitungsmodell. Ein solches Modell wandelt ein Bild in eine numerische Beschreibung um, die andere Software verarbeiten kann. Das Lernen des Vokabulars erfolgte anschließend auf Grundlage dieser Beschreibungen.

Wie gut funktionierten die gemeinsamen Vokabulare?

In den Standardexperimenten lernten Populationen aus zehn Agenten anhand von einer Million Interaktionen. Anschließend prüften die Forschenden die Kommunikation in 100.000 Testinteraktionen, darunter auch mit Objekten, die beim Training nicht verwendet worden waren. Die Ergebnisse wurden über zehn unabhängige Durchläufe gemittelt.

Die sieben hervorgehobenen Ergebnisse zeigen sowohl die Stärke der Methode als auch die Unterschiede zwischen den Aufgaben:

• CLEVR, ein Datensatz zu visuellen Eigenschaften von Objekten: 99,76 Prozent kommunikative Erfolgsquote.
• Weinanalysedaten: 99,76 Prozent.
• Exoplanetendaten: 99,67 Prozent.
• Pilzdaten: 98,10 Prozent.
• MS-COCO-Bilddaten: 95,77 Prozent.
• CelebA-Gesichtsbilder: 96,66 Prozent.
• Vogelbilder: 95,88 Prozent.

Diese Prozentwerte geben an, wie oft der Zuhörer das gemeinte Objekt auswählte. Bei den Wein- und CLEVR-Aufgaben entsprechen 99,76 Prozent etwa 24 erfolglosen Austauschen pro 10.000 Testinteraktionen. Bei MS COCO entsprechen 95,77 Prozent etwa 423 erfolglosen Austauschen pro 10.000.

Der Abstand zwischen diesen Ergebnissen beträgt 3,99 Prozentpunkte. Die Kommunikation war bei allen hervorgehobenen Aufgaben sehr erfolgreich, doch bei den natürlichen Bilddatensätzen traten mehr Fehler auf als bei den Wein- und Exoplanetenaufgaben.

Das Team maß außerdem die Größe des Vokabulars und die Übereinstimmung bei den Konventionen, also wie konsequent die Agenten Wörter verwenden. Diese Messwerte erfassen unterschiedliche Aspekte des Prozesses: Eine Population braucht sowohl eine brauchbare Auswahl an Bezeichnungen als auch ausreichend Einigkeit über deren Verwendung, um Zielobjekte zuverlässig zu erkennen.

Auch mit unterschiedlichen Sensoren ist Verständigung möglich

Maschinen nehmen die Welt selten genau gleich wahr. Sensoren können unterschiedlich kalibriert sein, Messwerte können verrauscht sein, und ein Gerät kann Eigenschaften erfassen, die ein anderes nicht erkennt. Die Studie untersuchte verschiedene Ausprägungen dieser Bedingungen.

Paul Van Eecke, Professor für künstliche Intelligenz an der VUB und Mitautor der Arbeit, erläuterte die Motivation am Beispiel von Menschen, die ein rotes Auto erkennen. Menschen können dieselbe Beschreibung verstehen, obwohl ihre Augen leicht unterschiedliche Farbwerte registrieren. Das gemeinsame Wort geht über diese individuellen Messwerte hinaus.

In den Experimenten übertrugen die Forschenden diese Idee auf künstliche Agenten, indem sie deren Beobachtungen veränderten. Dazu gehörten numerische Abweichungen, die Kalibrierungsunterschiede nachbildeten, verrauschte Messwerte und Populationen, deren Mitglieder über unterschiedliche verfügbare Merkmale verfügten.

Bei starkem Rauschen in den CLEVR-Experimenten lag die kommunikative Erfolgsquote bei 87,67 Prozent. Unter Bedingungen mit größeren Unterschieden bei den verfügbaren Sensoren betrug sie 83,47 Prozent. Auch unter diesen Bedingungen konnten sich die Agenten weiterhin beträchtlich gut abstimmen, wenngleich die Genauigkeit unter der des Standardexperiments mit CLEVR lag.

Die Arbeit bezeichnet Populationen mit unterschiedlichen Wahrnehmungsstrukturen als heteromorph. Einfach gesagt erhalten ihre Mitglieder unterschiedliche Arten oder Mengen an Informationen. Ihre Aufgabe ist es, trotz dieser Unterschiede mithilfe der jeweils verfügbaren Beobachtungen miteinander vereinbare Bezeichnungen zu entwickeln.

Ein Vokabular, das sich verändert, wenn Eingaben wegfallen

Die Forschenden testeten außerdem, was passiert, wenn während des Lernens abrupt Informationen wegfallen. In einem Experiment wurde nach der Hälfte des Prozesses die Hälfte der Eingaben entfernt, die für Sensorwerte standen. Nach dieser Änderung erreichte die kommunikative Erfolgsquote 93,82 Prozent.

Durch fortgesetzte Interaktionen können die Agenten ihre Konzepte an veränderte Bedingungen anpassen. Ein Wort, das mit mehreren Merkmalen verknüpft ist, kann auf andere Weise nützlich werden, wenn einige dieser Merkmale wegfallen und die verbleibenden Beobachtungen an Bedeutung gewinnen.

Die Arbeit berichtet auch über die Anpassung an Veränderungen in der Umgebung. Kontinuierliches Lernen ist damit ein zentraler Bestandteil des Ansatzes: Die Population entwickelt durch den Gebrauch eine Konvention und passt sie weiter an, wenn sich ihre Beobachtungen verändern.

Für ein künftiges Maschinensystem könnte diese Fähigkeit wichtig sein, wenn Geräte verschleißen oder sich die Betriebsbedingungen ändern. Das konkrete experimentelle Ergebnis betrifft Agenten, die ihr Vokabular innerhalb der simulierten Aufgaben anpassen.

Größere Gruppen brauchen mehr Interaktionen

Die Studie untersuchte Populationen mit 2, 10, 25, 50 und 100 Agenten. Wenn eine Population wächst, muss sich jedes nützliche Wort weiter verbreiten, da die Interaktionen weiterhin zwischen einzelnen Paaren stattfinden.

In CLEVR-Experimenten mit 100 Agenten lag die kommunikative Erfolgsquote nach einer Million Interaktionen bei 92,69 Prozent. Nach einer Verlängerung des Trainings auf zehn Millionen Interaktionen stieg sie um 6,47 Prozentpunkte auf 99,16 Prozent.

Das Interaktionsbudget hilft, die Größenordnung dieser Herausforderung einzuordnen. Bei gleichmäßiger Beteiligung entfallen in einer Gruppe aus zehn Agenten auf eine Million Austausche mit jeweils zwei Agenten im Durchschnitt 200.000 Teilnahmen pro Agent. In einer Gruppe aus 100 Agenten ergeben dieselben Austausche im Schnitt 20.000 Teilnahmen pro Agent.

Zehn Millionen Austausche bringen diesen Durchschnitt in einer Population aus 100 Mitgliedern wieder auf 200.000 Teilnahmen pro Agent. Die einzelnen Begegnungen werden zufällig ausgewählt. Der Vergleich zeigt jedoch, warum eine größere Gruppe insgesamt ein deutlich umfangreicheres Lernbudget benötigen kann, damit sich ihre Konventionen verbreiten.

Menschen können nachvollziehen, worauf sich ein Wort bezieht

Die Forschenden nennen Interpretierbarkeit als Vorteil ihres Designs. Ein Wort verweist auf einen Prototyp, dessen Werte und Merkmalsgewichtungen sich untersuchen lassen. Forschende können nachvollziehen, welche Beobachtungen zur Bildung eines Konzepts beigetragen haben und wie sich dessen Repräsentation durch den Gebrauch verändert.

Bei einem Datensatz mit benannten chemischen Messwerten lässt sich eine Verknüpfung zwischen einem Wort und bestimmten Wertebereichen dieser Messwerte herstellen. Bei Bilddaten ist das Konzept mit Merkmalen verknüpft, die der Bildencoder erzeugt. Seine Bedeutung zu erklären setzt daher auch ein Verständnis dieser numerischen Bildrepräsentationen voraus.

Jérôme Botoko Ekila, Doktorand am Labor für künstliche Intelligenz der VUB und Mitautor der Arbeit, beschrieb den Zweck, den Agenten die Bildung von Konzepten auf Grundlage ihrer eigenen Wahrnehmungen zu überlassen:

Sie entwickeln wirksame Konzepte, die genau dem entsprechen, was sie über ihre Sensoren wahrnehmen, selbst wenn die Daten für Menschen unverständlich sind.

Eine menschliche Überwachung würde darin bestehen, diese Verknüpfungen während ihrer Entstehung zu prüfen. Dabei lässt sich kontrollieren, ob zwei Agenten, die dasselbe Wort verwenden, auch nach einer Veränderung ihrer Eingaben oder Umgebung weiterhin das gemeinte Objekt auswählen. Der Rückmeldungsmechanismus der Studie macht diese Beziehung zum Kern des Lernprozesses.

Veröffentlichung, Zusammenarbeit und mögliche Anwendungen

An der Arbeit waren Jérôme Botoko Ekila, Lara Verheyen, Jens Nevens und Paul Van Eecke von der VUB sowie Katrien Beuls von der Universität Namur beteiligt. Die Finanzierung erfolgte durch den Forschungsfonds Flandern (FWO) und den belgischen Nationalen Forschungsfonds (FNRS) im Rahmen des WEAVE-Projekts.

Der Publikationseintrag der VUB nennt als Fachzeitschrift Transactions of the Association for Computational Linguistics, Band 14, Seiten 2234–2257, mit der DOI 10.1162/TACL.a.799. Als Veröffentlichungsdatum ist August 2026 angegeben.

Auf die Veröffentlichung und Mitteilung folgte diese Abfolge:

• April 2026: Die Arbeit wurde eingereicht.
• Mai 2026: Die Arbeit wurde überarbeitet.
• August 2026: Laut Publikationseintrag der Universität erschien die Arbeit in der Fachzeitschrift.
• 14. Oktober 2026: Die Universität stellte die Ergebnisse in einer Mitteilung vor.

Als mögliche Nutzer einer an die maschinelle Wahrnehmung angepassten Kommunikation nennen die Forschenden autonome Fahrzeuge, Roboter und Industriesensoren. Lidar misst Entfernungen mithilfe von Licht, Sonar mithilfe von Schall, Infrarotsensoren erfassen Wärmestrahlung und chemische Messgeräte messen Stoffe. Ein gemeinsames Vokabular könnte Maschinen helfen, anhand solcher Eingaben auf relevante Muster zu verweisen.

Der nächste praktische Schritt wäre, die Funktionsweise dieser Konventionen mit realen Geräten, wechselnden Umgebungen und betrieblichen Anforderungen zu testen. Einen Zeitplan für einen möglichen Einsatz nannten die Forschenden nicht. Bislang liegt ein erprobtes Verfahren vor, mit dem sich gemeinsame Bezeichnungen für unterschiedliche Daten entwickeln lassen und dessen Leistung unter Rauschen, abweichender Wahrnehmung und fehlenden Eingaben messbar ist.

Wichtige Punkte

• Forschende der VUB und der Universität Namur testeten die Bildung von Vokabularen anhand von 37 öffentlichen Datensätzen.
• Gruppen aus zehn Agenten lernten durch eine Million Interaktionen und durchliefen anschließend 100.000 Testinteraktionen.
• Bei sieben hervorgehobenen Datensätzen lag die Erfolgsquote zwischen 95,77 und 99,76 Prozent.
• Die Forschenden gaben die Lernverfahren vor; die Agenten entwickelten die konkreten Wörter und die dazugehörigen Konzepte durch Rückmeldungen.
• In den Experimenten wurde die Anpassung an verrauschte Beobachtungen, unterschiedliche Wahrnehmungsstrukturen und fehlende Eingaben getestet.
• Eine Population aus 100 Agenten erreichte bei CLEVR nach zehn Millionen Interaktionen eine Erfolgsquote von 99,16 Prozent.
• Die Studie beruhte auf Computersimulationen. Anwendungen für Roboter, Fahrzeuge und Industriesensoren werden als mögliche Einsatzbereiche vorgeschlagen.