Kimi K2.5 von Moonshot AI: Reddit-AMA legt die schwierige Realität offener Spitzenmodelle offen

Wenn 595 Gigabyte auf die Realität der Entwickler treffen

Zwei Tage nachdem sie ein Modell veröffentlicht hatten, das Branchenanalysten als das leistungsstärkste jemals entwickelte Open-Source-Modell für künstliche Intelligenz bezeichneten, meldeten sich Forschende von Moonshot AI auf Reddit zu Wort. Dort trafen sie auf ein Publikum, das gleichermaßen begeistert und frustriert war. Das in Peking ansässige Start-up hatte allen Grund zum Feiern. Kimi K2.5 sorgte für Schlagzeilen, weil das Modell die Leistungslücke zu den US-amerikanischen KI-Giganten schließen und die Grenzen der US-Exportkontrollen für Chips austesten sollte. Doch die Entwickler, die auf r/LocalLLaMA warteten, einem Forum, in dem Ingenieure Tipps dazu austauschen, wie sich große Sprachmodelle auf allem betreiben lassen, von einzelnen Consumer-GPUs bis hin zu kleinen Racks mit Prosumer-Hardware, hatten ein dringenderes Anliegen. Sie wollten wissen, wann sie das Modell tatsächlich nutzen können.

Die dreistündige Ask-Me-Anything-Runde bot einen unerwartet offenen Einblick in die Entwicklung von Spitzenmodellen im Jahr 2026. Nicht in die glattpolierte Version aus den Marketingmaterialien von Unternehmen, sondern in die chaotische Realität: Fehler beheben, mit Veränderungen der Modellpersönlichkeit umgehen und sich einem grundlegenden Spannungsfeld stellen, das die Open-Source-KI heute prägt. Moonshot hatte die Modellgewichte veröffentlicht, sodass sie jeder herunterladen und anpassen konnte. Die Datei ist rund 595 Gigabyte groß. Für die meisten Entwickler im Thread blieb diese Offenheit rein theoretisch.

Drei Mitglieder des Moonshot-Teams beteiligten sich unter den Nutzernamen ComfortableAsk4494, zxytim und ppwwyyxx. In rund 187 Kommentaren beantworteten sie Fragen zur Architektur, zur Trainingsmethodik und zum philosophischen Rätsel, wodurch eine KI ihren Charakter erhält. Außerdem skizzierten sie, woher die nächste Fortschrittswelle kommen könnte: nicht einfach von noch mehr Parametern.

Das Größenproblem bleibt bestehen

Schon die ersten Fragen behandelten Kimi K2.5 weniger wie einen Durchbruch als wie ein logistisches Problem. Ein Nutzer fragte unverblümt, warum Moonshot nicht zusätzlich zum Flaggschiff kleinere Modelle entwickle. „Kleine Größen wie 8B, 32B und 70B sind ideal für eine hohe Intelligenzdichte“, schrieb er und bezog sich dabei auf die Zahl der Parameter in Milliarden. Ein anderer meinte, riesige Modelle seien kaum noch ein Grund zum Feiern, weil viele Entwickler sie schlicht nicht betreiben könnten. Ein dritter verwies auf US-amerikanische Wettbewerber als Maßstab und wünschte sich auf Coding spezialisierte Varianten, die auf bescheidene GPUs passen.

Das Moonshot-Team kündigte nicht kurzerhand ein kleineres Modell an. Es bestätigte aber die Nachfrage in Worten, die darauf hindeuteten, dass ihm die Beschwerde vertraut war. „Anfragen sind angekommen!“, schrieb ein Co-Host. Ein anderer merkte an, dass Moonshots Modellsammlung auf Hugging Face bereits einige kleinere Mixture-of-Experts-Modelle enthalte. Zugleich warnte er, dass kleinere und größere Modelle oft unterschiedliche Entwicklungsinvestitionen erforderten.

Die aufschlussreichste Antwort kam auf die Frage, ob Moonshot ein für den lokalen Betrieb optimiertes Modell mit rund 100 Milliarden Parametern entwickeln könnte. Das Kimi-Team brachte einen anderen Kompromiss ins Spiel: ein Modell mit 200 oder 300 Milliarden Parametern, das bei vielen Aufgaben über dem liegen könne, was es als „Nutzbarkeitsschwelle“ bezeichnete. Die Antwort machte das Dilemma von Anbietern offener Modellgewichte deutlich. Ein Modell mit 200 bis 300 Milliarden Parametern würde den Zugang im Vergleich zu einem System mit einer Billion Parametern erweitern. Dennoch setzt es Multi-GPU-Konfigurationen oder aggressive Quantisierung voraus, bei der die Genauigkeit verringert wird, um Speicher zu sparen.

Die Entwickler im Thread fragten nicht nach Modellen, die nur ein bisschen kleiner sind. Sie wollten Modelle, die auf die Hardware passen, die sie tatsächlich besitzen, und einen Entwicklungsplan, der den lokalen Einsatz als zentrale Vorgabe behandelt und nicht als nachträgliches Hobbyprojekt. Der Austausch verdeutlichte einen wachsenden Riss in der Open-Source-KI-Community: zwischen Laboren, die riesige Modelle veröffentlichen, für die Infrastruktur im Rechenzentrumsmaßstab nötig ist, und Praktikern, die Systeme auf ihrer eigenen Hardware betreiben wollen.

Stoßen Skalierungsgesetze an ihre Grenzen?

Nachdem sich der Thread zunächst um Hardwareprobleme gedreht hatte, ging es um die Frage, die viele Forschende inzwischen für die zentrale bei großen Sprachmodellen halten: Flacht der Fortschritt entlang der Skalierungsgesetze allmählich ab? Die Skalierungsgesetze beschreiben den vorhersehbaren Zusammenhang zwischen Modellgröße, Datenmenge und Leistung, der den KI-Fortschritt seit Jahren vorantreibt. Ein Teilnehmer fragte direkt, ob die Skalierung „an eine Grenze gestoßen“ sei.

Ein Vertreter von Kimi antwortete mit einer Einschätzung, die sich in der Branche zunehmend durchsetzt. „Die Menge hochwertiger Daten wächst nicht so schnell wie die verfügbare Rechenleistung“, schrieb er. „Deshalb bringt Skalierung mit der herkömmlichen Vorhersage des nächsten Tokens auf Grundlage von Internetdaten weniger Fortschritte.“ Diese Beobachtung betrifft eine grundlegende Einschränkung: Im Internet gibt es nur eine begrenzte Menge hochwertiger Texte, und die KI-Labore haben bereits den Großteil davon zum Trainieren verwendet.

Anschließend nannte das Team seinen bevorzugten Ausweg. Es verwies auf Agent Swarm, die Fähigkeit von Kimi K2.5, bis zu 100 parallel arbeitende Subagenten zu koordinieren. Dies könne als eine Form der „Skalierung zur Laufzeit“ einen neuen Weg zu Leistungsgewinnen eröffnen. Bei der Skalierung zur Laufzeit wird der Rechenaufwand während der Inferenz erhöht, also dann, wenn das Modell tatsächlich Fragen beantwortet, statt während der anfänglichen Trainingsphase.

Aus Sicht des Teams muss Skalierung nicht ausschließlich bedeuten, größere Vortrainingsläufe durchzuführen. Sie kann auch heißen, während der Inferenz mehr strukturierte Arbeit zu leisten und die daraus gewonnenen Erkenntnisse anschließend mithilfe von Reinforcement Learning in das Training einfließen zu lassen. „Es könnte neue Skalierungsparadigmen geben, die sich möglicherweise umsetzen lassen“, schrieb ein Co-Host. „In Zukunft wird es wahrscheinlich ein Modell geben, das mit weniger oder sogar ganz ohne menschliche Vorannahmen lernt.“

Die Aussage legt nahe, dass sich der Maßstab für Fortschritt von der Zahl der Parameter und den Verlustkurven des Vortrainings hin zu Systemen verschiebt, die planen, Aufgaben delegieren und Ergebnisse überprüfen können. Dabei nutzen sie Werkzeuge und Subagenten als Bausteine, statt sich auf einen einzigen gewaltigen Vorwärtsdurchlauf durch ein neuronales Netz zu verlassen.

Einblick in Agent Swarm: Wie 100 Subagenten ihr Gedächtnis organisieren

Auf dem Papier klingt Agent Swarm wie eine bekannte Idee in neuer Verpackung: Viele KI-Agenten arbeiten gemeinsam an einer Aufgabe. Das AMA brachte die wichtigeren Details ans Licht: Wo werden die Informationen abgelegt? Wie läuft die Koordination ab? Und warum versinkt die Orchestrierung nicht im Rauschen?

Ein Entwickler sprach ein klassisches Problem von Multi-Agenten-Systemen an. Bei 100 Subagenten werde ein Orchestrator-Agent oft zum Engpass, sowohl bei der Latenz als auch bei dem, was die Community „Kontextverfall“ nennt. Damit ist die nachlassende Leistung gemeint, die eintritt, wenn sich der Gesprächsverlauf mit internem Geplapper und Werkzeugprotokollen füllt, bis das Modell den Faden verliert.

Ein Kimi-Co-Host antwortete mit einer Designentscheidung, die für alle wichtig ist, die Agentensysteme in Unternehmen entwickeln.

Die Subagenten arbeiten mit einem eigenen Arbeitsgedächtnis und schicken ihre Ergebnisse an den Orchestrator zurück, statt alles in einen gemeinsamen Kontext einzuspeisen. So können wir die gesamte Kontextlänge auf eine neue Art skalieren!

Ein weiterer Entwickler hakte bei den Leistungsangaben nach. Moonshot hatte Agent Swarm öffentlich eine etwa 4,5-fache Beschleunigung bei geeigneten Arbeitsabläufen zugeschrieben. Skeptiker fragten jedoch, ob diese Zahl nicht einfach widerspiegle, wie gut sich eine bestimmte Aufgabe parallelisieren lasse. Das Team stimmte zu: Es komme darauf an. Manchmal entscheide das System, dass eine Aufgabe keine parallelen Agenten erfordert, und spare sich so den zusätzlichen Rechenaufwand. Außerdem beschrieb es die Verwaltung des Tokenbudgets der Subagenten als Aufgabe des Orchestrators, der jedem Subagenten eine angemessen große Aufgabe zuweist.

Als Beschreibung von Technik statt Marketing gelesen, skizzierte Moonshot ein vertrautes Muster aus dem Unternehmensbereich: Die Steuerungsebene bleibt übersichtlich, die Ergebnisse der Arbeitsprozesse werden begrenzt und der Koordinator wird nicht mit Protokollen überflutet, die er nicht verarbeiten kann. Diese Architektur deutet darauf hin, dass künftige KI-Systeme eher verteilten Rechenclustern als monolithischen Chatbots ähneln werden.

Der Wechsel von System 1 zu System 2

Die folgenreichste Verschiebung, die das AMA andeutete, war keine neue Benchmark-Punktzahl. Es war eine Aussage zu den Forschungsprioritäten. Eine Frage lautete, ob Moonshot Rechenleistung vom „System-1“-Vortraining hin zum Reinforcement Learning für „System 2“ verlagere. Diese Begriffe beziehen sich auf von dem Psychologen Daniel Kahneman bekannt gemachte Denkmodi: System 1 steht für schnelles, intuitives Denken, System 2 für langsames, überlegtes Schlussfolgern.

Auf KI übertragen heißt das, den Schwerpunkt vom breiten Erlernen von Mustern auf ein Training zu verlagern, bei dem Schlussfolgerungen und korrektes Verhalten bei mehrstufigen Aufgaben ausdrücklich belohnt werden. Ein Kimi-Vertreter antwortete, der Rechenaufwand für Reinforcement Learning werde weiter steigen, und stellte neue Zielfunktionen für RL in Aussicht, „insbesondere im Bereich der Agenten“.

Das klingt nach einem Fahrplan. Je besser Modelle Werkzeuge nutzen und Aufgaben in Teilschritte zerlegen, desto mehr werden die Labore dafür aufwenden, ihnen das richtige Verhalten als Agenten beizubringen, statt sie lediglich auf die Vorhersage von Tokens zu trainieren. Für Unternehmen ist das wichtig, weil Verbesserungen durch RL oft mit Kompromissen einhergehen. Ein Modell kann entschlossener und stärker auf den Einsatz von Werkzeugen ausgerichtet sein oder sich an Belohnungssignalen orientieren, die nicht ohne Weiteres den Erwartungen eines Unternehmens entsprechen.

Auf die Frage nach dem Rechenleistungsgefälle zwischen Moonshot und US-amerikanischen Laboren mit wesentlich größeren GPU-Flotten antwortete das Team offen. „Ich würde sagen, dass sich der Abstand nicht verringert“, schrieb ein Co-Host. „Aber wie viel Rechenleistung braucht man, um künstliche allgemeine Intelligenz zu erreichen? Das wird sich zeigen.“ Ein anderer formulierte es eher philosophisch: „Zu viele Faktoren beeinflussen die verfügbare Rechenleistung. Aber egal was passiert: Innovation gedeiht unter Einschränkungen.“

Warum Kimi sich manchmal Claude nennt

Bei der Veröffentlichung offener Modellgewichte steht inzwischen stets ein Verdacht im Raum: Hat das Modell zu viel von der Konkurrenz gelernt? Dieser Verdacht kann sich schnell zu einem Vorwurf der Destillation verhärten, bei der eine KI lernt, indem sie mit den Ausgaben einer anderen KI trainiert wird. Ein Nutzer brachte eine der heikelsten Behauptungen ins Spiel, die in Kreisen rund um offene Modelle kursieren: K2.5 bezeichne sich manchmal selbst als „Claude“, also als das führende Modell von Anthropic. Der Vorwurf lautete, Moonshot habe sich stark bei der Konkurrenz bedient.

Moonshot wies dieses Verhalten nicht von sich. Stattdessen beschrieb das Unternehmen die Bedingungen, unter denen es auftritt. Mit dem passenden Systemprompt antworte das Modell mit hoher Wahrscheinlichkeit „Kimi“, vor allem im Denkmodus. Bei einem leeren Systemprompt gerate es jedoch in einen vom Team so bezeichneten „undefinierten Bereich“. Dieser spiegele die Verteilung der Vortrainingsdaten wider und nicht bewusste Trainingsentscheidungen.

Dann lieferte das Team eine konkrete Erklärung, die an eine Trainingsentscheidung anknüpfte. Moonshot habe während des Vortrainings neuere Coding-Daten aus dem Internet übergewichtet. Diese Daten schienen stärker mit dem Token „Claude“ verknüpft zu sein, vermutlich weil Entwickler beim Austausch über KI-Coding-Assistenten häufig das Modell von Anthropic erwähnten. Mit Benchmark-Ergebnissen widersprach das Team dem Destillationsvorwurf.

Tatsächlich scheint K2.5 Claude bei vielen Benchmarks zu übertreffen. Zum Beispiel bei HLE, BrowseComp, MMMU Pro und MathVision.

Für Unternehmen, die das Modell einsetzen, ist nicht der Internetstreit entscheidend. Wichtig ist vielmehr, dass die Identität des Modells tatsächlich abdriften kann. Organisationen können dem oft entgegenwirken, indem sie Systemprompts festlegen, statt die Selbstbeschreibung des Modells dem Zufall zu überlassen. Das AMA stellte die Verwaltung von Prompts nicht als nettes Extra für die Nutzererfahrung dar, sondern als notwendige Betriebspraxis für einen zuverlässigen Einsatz.

Die Suche nach der Seele eines Belohnungsmodells

Ein wiederkehrendes Thema im Thread war, dass der Schreibstil von K2.5 allgemeiner wirke als der früherer Kimi-Modelle. Nutzer beschrieben ihn als den eines gewöhnlichen „hilfreichen Assistenten“ – ein Ton, den viele Entwickler inzwischen als Standardpersönlichkeit stark nachtrainierter Modelle ansehen. Ein Nutzer schrieb, er habe die Persönlichkeit von Kimi K2 sehr gemocht, und fragte, was passiert sei.

Ein Kimi-Co-Host räumte ein, dass jede neue Version die Persönlichkeit etwas verändere, und beschrieb sie als subjektiv und schwer zu bewerten. „Das ist ein ziemlich schwieriges Problem“, schrieb er. Das Team wolle es verbessern und die Persönlichkeit stärker an die einzelnen Nutzer anpassbar machen.

In einem anderen Austausch ging es um die Frage, ob eine stärkere Coding-Fähigkeit das kreative Schreiben und die emotionale Intelligenz beeinträchtigt. Ein Kimi-Vertreter argumentierte, bei einem ausreichend großen Modell gebe es keinen inhärenten Konflikt. Über verschiedene Versionen hinweg den „Geschmack beim Schreiben“ zu bewahren, sei jedoch schwierig, weil sich das Belohnungsmodell ständig weiterentwickle. Das Team nutze interne Benchmarks als eine Art Metaevaluation, um den Fortschritt beim kreativen Schreiben zu verfolgen und die Belohnungsmodelle entsprechend anzupassen.

Eine weitere Antwort ging noch weiter. Sie verwendete Begriffe, die in einer KI-Produktspezifikation eines Unternehmens ungewöhnlich klingen, für Menschen, die diese Werkzeuge täglich nutzen, aber vertraut sind. Das Team sprach von der „Seele“ eines Belohnungsmodells und brachte die Möglichkeit ins Spiel, einen Nutzer-„Zustand“ zu speichern, der dessen Geschmack widerspiegelt, und damit die Ausgaben des Modells zu beeinflussen. Dieser Austausch verweist auf ein Produktfeld, dessen Bedeutung Unternehmen oft unterschätzen. Veränderungen im Stil sind nicht bloß eine ästhetische Frage. Sie können beeinflussen, wie ein Modell Entscheidungen erklärt, wie stark es seine Aussagen relativiert, wie es mit Mehrdeutigkeit umgeht und wie es mit Kunden und Beschäftigten interagiert.

KI-Forschung bedeutet vor allem: Fehler beheben

Der aufschlussreichste Einblick in die Forschungskultur kam als Antwort auf die Frage nach Überraschungen beim Training und Reinforcement Learning. Ein Co-Host antwortete mit einem einzigen Wort, das zur Betonung fett gesetzt war: Fehlerbehebung.

Ob beim Vortraining oder beim Nachtraining: Eine Sache steht ständig an oberster Stelle: die Fehlerbehebung.

Der Kommentar machte ein Thema deutlich, das sich durch die gesamte Sitzung zog. Auf die Frage nach der „Skalierungstreppe“ des Teams zur Bewertung neuer Ideen bei unterschiedlich großen Modellen erzählte zxytim von einem Fehlschlag. Das Team habe einst versucht, Kimi Linear, eine experimentelle Architektur mit linearer Aufmerksamkeit, überstürzt in die vorherige Modellgeneration einzubauen. Bei einer bestimmten Größe bestand das Modell die Skalierungstreppe nicht. Das Team sei einen Schritt zurückgegangen und habe einen vom Co-Host als „mühsamen Fehlerbehebungsprozess“ bezeichneten Prozess durchlaufen. Erst nach Monaten habe es funktioniert.

„Statistisch gesehen bestehen die meisten Ideen, die im kleinen Maßstab funktionieren, die Skalierungstreppe nicht“, fuhr er fort. „Diejenigen, die es schaffen, sind meist einfach, effektiv und mathematisch fundiert. Forschung bedeutet vor allem, mit Fehlschlägen umzugehen, nicht Erfolge zu feiern.“

Für technische Führungskräfte, die KI-Anbieter bewerten, ist dieses Eingeständnis aufschlussreich. Leistungsfähige Spitzenmodelle entstehen nicht allein durch elegante Durchbrüche. Sie sind das Ergebnis konsequenter Fehlersuche und einer Unternehmenskultur, die bereit ist, sich monatelang mit Problemen zu beschäftigen, die sich womöglich nicht lösen lassen. Diese nüchterne Einordnung steht in starkem Kontrast zu den glattpolierten Erzählungen, die Produktvorstellungen oft begleiten.

Der Fahrplan zu K3 und kontinuierlichem Lernen

Das AMA diente auch als dezenter Vorgeschmack auf die nächste Kimi-Generation. Entwickler fragten, ob Kimi K3 auf Moonshots Forschung zu linearer Aufmerksamkeit setzen werde, mit der sich lange Kontexte effizienter verarbeiten lassen sollen als mit herkömmlichen Aufmerksamkeitsmechanismen. Mitglieder des Teams deuteten an, dass lineare Ansätze ernsthaft infrage kämen. „Wahrscheinlich wird Kimi Linear Teil von K3 sein“, schrieb einer. „Außerdem werden wir weitere Optimierungen einbauen.“

In einem anderen Austausch sagte ein Co-Host voraus, K3 werde „deutlich, wenn nicht zehnmal, besser sein als K2.5“. Das Team hob außerdem kontinuierliches Lernen als ein Gebiet hervor, das es aktiv erforsche. Das deutet auf eine Zukunft hin, in der Agenten über längere Zeiträume effektiv arbeiten können. Für Unternehmen ist das entscheidend, wenn Agenten laufende Projekte statt einzelner Aufgaben bearbeiten sollen.

„Wir glauben, dass kontinuierliches Lernen die Handlungskompetenz verbessert und es den Agenten ermöglicht, viel länger effektiv zu arbeiten“, schrieb ein Co-Host. Für Agent Swarm kündigte das Team an, das Orchestrierungsgerüst Entwicklern zugänglich zu machen, sobald das System stabiler sei. „Hoffentlich schon sehr bald“, fügte es hinzu.

Was das über offene KI im Jahr 2026 verrät

Die Sitzung beantwortete nicht jede Frage. Einige der technisch anspruchsvollsten Fragen zu Trainingsmethoden für multimodale Modelle, Schutz vor Reward Hacking und Datenverwaltung wurden auf einen bevorstehenden technischen Bericht vertagt. Das ist nicht ungewöhnlich. Viele Labore behandeln die operativ wichtigsten Details inzwischen als vertraulich.

Der Thread zeigte dennoch, wohin sich die entscheidenden Auseinandersetzungen in der KI verlagert haben. Die wichtigste Kluft verläuft nicht zwischen China und den USA oder zwischen offenen und geschlossenen Modellen. Sie liegt zwischen dem, was Modelle versprechen, und dem, was Systeme tatsächlich leisten können. Die Orchestrierung wird zum Produkt. Moonshot liefert nicht nur ein Modell aus, sondern auch eine Sichtweise: Die nächsten Fortschritte kommen von Agenten, die Aufgaben aufteilen, Werkzeuge nutzen und schnell strukturierte Ergebnisse liefern können.

Offene Modellgewichte stoßen auf die Realität der Hardware. Entwickler verlangen Offenheit, die den lokalen Betrieb ermöglicht, statt Offenheit, für die ein Rechenzentrum nötig ist. Und das Schlachtfeld verschiebt sich von der reinen Intelligenz hin zur Zuverlässigkeit: weg davon, einen Benchmark um zwei Punkte zu schlagen, hin zur Disziplin beim Aufrufen von Werkzeugen, zur Verwaltung des Gedächtnisses in Multi-Agenten-Abläufen und zur Bewahrung jenes schwer messbaren „Geschmacks“, der darüber entscheidet, ob Nutzer den Ergebnissen vertrauen.

Moonshot erschien nach einer viel beachteten Veröffentlichung und angesichts einer wachsenden geopolitischen Debatte auf Reddit. Die wartenden Entwickler interessierte eine praktischere Frage: Wann bedeutet offen tatsächlich nutzbar? In diesem Sinne diente das AMA nicht bloß dazu, Kimi K2.5 zu bewerben. Es lieferte eine Momentaufnahme einer Branche im Wandel: von größeren Modellen hin zu strukturierterer Berechnung, von geschlossenen APIs hin zu offenen Modellgewichten, deren Einsatz dennoch erheblichen Entwicklungsaufwand erfordert, und vom Feiern von Erfolgen hin zum Umgang mit Fehlschlägen.

Auf einen Blick

• Moonshot AI veröffentlichte Kimi K2.5, ein 595 GB großes Open-Source-Modell, und stellte sich anschließend bei einem Reddit-AMA auf r/LocalLLaMA Fragen zur praktischen Nutzbarkeit
• Entwickler forderten kleinere Modelle mit 8 bis 70 Milliarden Parametern für lokale Hardware. Moonshot nannte jedoch 200 bis 300 Milliarden Parameter als Mindestgröße für eine breite Nutzbarkeit
• Das Team räumte ein, dass sich die Skalierungsgesetze wegen des begrenzten Angebots an hochwertigen Trainingsdaten abflachen. Es setzt nun verstärkt auf „Skalierung zur Laufzeit“ und Agent Swarm, das 100 Subagenten koordiniert
• Agent Swarm gibt jedem Subagenten ein eigenes Arbeitsgedächtnis, um Kontextverfall zu vermeiden. Ein Orchestrator verwaltet Tokenbudgets und Aufgabenverteilung
• Der Rechenaufwand für Reinforcement Learning wird steigen. Damit verlagert sich der Schwerpunkt vom Erkennen von Mustern in System 1 auf Schlussfolgern in System 2 und das Training des Agentenverhaltens
• Moonshot erklärte, dass die Identität des Modells abdriften und es sich etwa „Claude“ nennen könne, weil Coding-Daten mit häufigen Claude-Verweisen übergewichtet wurden, nicht durch Destillation
• Persönlichkeit und die „Seele“ eines Modells lassen sich nur schwer messen und über verschiedene Versionen hinweg bewahren. Geplant sind nutzerspezifische Geschmacksprofile
• Kimi K3 soll voraussichtlich Architekturen mit linearer Aufmerksamkeit und Funktionen für kontinuierliches Lernen enthalten, damit Agenten Aufgaben über längere Zeiträume bearbeiten können