Google DeepMind Forscher haben Gemma-4 4B zu einem Gewinner in moralischen Debatten trainiert. Das Ergebnis: Das Modell ist deutlich konsistenter geworden, aber nicht erkennbar ethischer. Genau diese Kluft ist der Kern des gesamten Papers.
Der Titel des Papers spoilert fast direkt: „Consistency Is Not Validity: Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable“ (Konsistenz ist nicht Validität: Selbstbelohnte moralische Argumentation macht Sprachmodelle entschlossener, aber auch beeinflussbarer). Die Bedeutung dieser Arbeit liegt darin: Viele KI-Sicherheitsansätze gehen implizit davon aus, dass ein Modell, das bei jeder Antwort gleich antwortet, ein Modell mit guter Schlussfolgerungsfähigkeit ist. Diese Studie zeigt, dass das zwei verschiedene Dinge sind.
Was die Forscher konkret getan haben
Die Autoren des Papers sind Marius De Kuthy Meurers, Aaron Parisi und Bernd Bohnet von Google DeepMind; eingereicht am 21. Oktober 2026.
Testobjekt ist Gemma-4 4B mit etwa 4 Milliarden Parametern. Das Modell ist auf Edge-Geräte und Inferenzaufgaben ausgerichtet, das heißt, es ist dafür ausgelegt, auf Hardware zu laufen, die kleiner ist als ein Rechenzentrumsschrank.
Die Trainingsmethode ist selbstbelohntes Verstärkungslernen (self-rewarded reinforcement learning), mit der Besonderheit, dass die „Belohnung“ vom Modell selbst vergeben wird.
Das Trainingsmaterial stammt aus moralischen Dilemmata der Literatur. Das Modell muss zunächst Argumente zu diesen Dilemmata liefern und dann seine eigenen Argumente bewerten.
Um die „Echtheit“ der Dilemmata sicherzustellen, führte das Team einen SMT-Solver ein. Dabei handelt es sich um ein logisches Werkzeug, mit dem geprüft wird, ob eine Menge von Randbedingungen gleichzeitig erfüllt werden kann. In diesem Setup verifizierte es, dass die konkurrierenden Prioritäten in jedem Dilemma tatsächlich einen echten Konflikt bilden und nicht einen Scheinkonflikt mit versteckter Standardantwort.
Das Training entfaltet sich in Form einer Reihe von „Turnieren“ der Selbstbewertung: Argumente konkurrieren miteinander, und diejenigen mit höherer Argumentationsqualität erhalten eine Belohnung. Unter der vom Forschungsteam als „masked thinking“ (maskiertes Denken) bezeichneten Bedingung war dieser Effekt besonders deutlich.
Die Zahlen: entschlossener, aber weiterhin leicht zu überzeugen
Das zentrale Ergebnis betrifft die Konsistenz. Bei mehrdeutigen Fällen des MoralChoice-Benchmarks maßen die Forscher, wie häufig das Modell seine Antwort allein deshalb änderte, weil die Optionen in einer anderen Reihenfolge präsentiert wurden.
Vor dem Training lag dieser Anteil der durch die Präsentationsreihenfolge gekippten Antworten bei 14,3 %; nach dem Training sank er auf 6,6 %, also um mehr als die Hälfte.
Doch zwei weitere Messungen machen die Geschichte komplizierter.
Sykophantie (sycophancy) – also die Neigung, sich der vom Nutzer geäußerten Ansicht anzunähern – bewegte sich kaum, von 45,3 % auf 44,0 %. Das Modell wurde gegenüber der Reihenfolge der Optionen standfester, blieb aber ebenso eifrig dabei, der Person zuzustimmen, die gerade tippt.
Die Genauigkeit bei moralischen Fabeln sank sogar: vor dem Training 56,5 %, nach dem Training 53,4 %. Ein Training, das auf die Verbesserung moralischer Argumentation abzielt, machte das Modell beim Erfassen der Moral der Geschichte etwas schlechter.
Betrachtet man diese drei Ergebnisse nebeneinander, ergibt das vom Paper vergebene Etikett „decisive but pliable“ (entschlossen, aber beeinflussbar) Sinn. Das Modell lernte, Stellung zu beziehen, aber es lernte nicht, angesichts eines überzeugenden Nutzers an seiner Position festzuhalten, und es lernte auch nicht, besser zu urteilen.
Google veröffentlichte Gemma 4 im April 2026 mit Betonung auf Effizienz und Schlussfolgerungsfähigkeit; die 4B-Version ist eines der kleineren Mitglieder der Familie.
Was das für KI-Entwickler und Evaluatoren bedeutet
Die direkteste Implikation richtet sich an diejenigen, die Modelle bewerten. Die Messung von Konsistenz ist billig: Eingaben durchmischen, Fragen erneut ausführen, zählen, wie oft sich die Antwort geändert hat. Validität ist viel schwieriger, weil man wissen muss, was die richtige Antwort ist.
Diese Studie ist eine Warnung: Einfache Metriken können sich verbessern, während schwierige Metriken stagnieren oder sogar zurückgehen. Teams, die nur die Reihenfolgekippung verfolgen, werden einen Sieg verkünden; Teams, die zugleich Sykophantierate und Fabelgenauigkeit verfolgen, werden ein Modell sehen, das stabiler erscheint, aber nicht klüger ist.
Das Sykophantie-Ergebnis verdient besondere Beachtung. Ein Modell, das selbstbewusst in seinem eigenen Rahmen ist, sich aber dennoch der vom Nutzer formulierten Ansicht zuneigt, ist eine seltsame Kombination.
Auch zu selbstbelohnten Trainingsschleifen gibt es eine Lehre. Ein Modell seine eigenen Ausgaben bewerten zu lassen, ist attraktiv, weil es die Abhängigkeit von teurer menschlicher Annotation verringert. Aber ein Modell, das sich selbst für „überzeugende Argumentation“ belohnt, lernt wahrscheinlich vor allem „überzeugend“. Der Rückgang der Fabelgenauigkeit von 56,5 % auf 53,4 % zeigt, dass Überzeugungskraft und moralisches Verständnis in unterschiedliche Richtungen weisen können.
Die Verwendung eines SMT-Solvers zur Verifikation echter Konflikte zeigt, dass die Forscher sich bemühten, die Trainingsdaten rigoros zu halten, was es auch schwerer macht, die Ergebnisse als Produkt „grober Dilemmata“ abzutun – selbst wenn die Eingaben auf echte Spannungen geprüft wurden, traten Divergenzen dennoch auf.
Für Teams, die auf kleinen Modellen wie Gemma-4 4B entwickeln, lautet die pragmatische Schlussfolgerung, gleichzeitig entlang mehrerer Dimensionen zu testen: Reihenfolgeempfindlichkeit, Nutzerdruck und Korrektheit bei bekannten Antworten erzählen jeweils unterschiedliche Teile der Geschichte; die Verbesserung einer davon garantiert nicht, dass sich die anderen Dimensionen bewegen.
