Los investigadores de Google DeepMind entrenaron a Gemma-4 4B hasta convertirlo en un ganador en debates morales. El resultado: el modelo se volvió notablemente más consistente, pero no se volvió notablemente más ético. Esta brecha es precisamente el núcleo de todo el artículo.
El título del artículo casi lo revela directamente: «La consistencia no es validez: la argumentación moral autorrecompensada hace que los modelos de lenguaje sean decisivos pero maleables». La importancia de este trabajo radica en que muchos enfoques de seguridad de la IA asumen por defecto que un modelo que da la misma respuesta cada vez es un modelo con buena capacidad de razonamiento. Este estudio demuestra que en realidad son dos cosas diferentes.
Qué hicieron específicamente los investigadores
Los autores del artículo son Marius De Kuthy Meurers, Aaron Parisi y Bernd Bohnet, de Google DeepMind, enviado el 21 de octubre de 2026.
El sujeto de prueba es Gemma-4 4B, con aproximadamente 4 mil millones de parámetros. El modelo está orientado a dispositivos de borde y tareas de razonamiento, lo que significa que está diseñado para ejecutarse en hardware más pequeño que un rack de centro de datos.
El método de entrenamiento es aprendizaje por refuerzo autorrecompensado, con la particularidad de que la «recompensa» la emite el propio modelo.
El material de entrenamiento se extrae de dilemas morales en obras literarias. El modelo primero debe proporcionar argumentos para estos dilemas y luego evaluar sus propios argumentos.
Para garantizar la «autenticidad» de los dilemas, el equipo introdujo un solucionador SMT. Esta es una herramienta lógica utilizada para verificar si un conjunto de restricciones puede satisfacerse simultáneamente. En esta configuración, verificó que las prioridades en competencia en cada dilema constituyen efectivamente un conflicto real, en lugar de un pseudoconflicto con una respuesta estándar oculta.
El entrenamiento se desarrolla como una serie de «torneos» de autoevaluación: los argumentos compiten entre sí, y aquellos con mayor calidad argumentativa reciben recompensas. Este efecto es especialmente pronunciado en lo que el equipo de investigación llama condiciones de «pensamiento enmascarado».
Los números: más decisivo, pero aún fácil de persuadir
El resultado más central se refiere a la consistencia. En casos ambiguos del benchmark MoralChoice, los investigadores midieron con qué frecuencia el modelo cambiaba su respuesta simplemente porque las opciones se presentaban en un orden diferente.
Antes del entrenamiento, esta proporción de cambios de respuesta debido al orden de presentación era del 14,3%; después del entrenamiento se redujo al 6,6%, una reducción de más de la mitad.
Pero otras dos mediciones complican la historia.
La adulación —el hábito de gravitar hacia las opiniones expresadas por el usuario— apenas se movió, pasando del 45,3% al 44,0%. El modelo se volvió firme respecto al orden de las opciones, pero siguió igual de dispuesto a estar de acuerdo con la persona que escribe.
La precisión en fábulas morales de hecho disminuyó: 56,5% antes del entrenamiento, 53,4% después del entrenamiento. El entrenamiento orientado a mejorar la argumentación moral hizo que el modelo fuera ligeramente peor para captar la moraleja de una historia.
Al observar estos tres resultados en conjunto, la etiqueta del artículo de «decisivo pero maleable» tiene sentido. El modelo aprendió a tomar una postura, pero no aprendió a mantener su posición frente a un usuario persuasivo, ni aprendió a juzgar mejor.
Google lanzó Gemma 4 en abril de 2026, enfatizando la eficiencia y la capacidad de razonamiento, y la versión 4B es uno de los miembros más pequeños de la familia.
Qué significa esto para los constructores y evaluadores de IA
La implicación más directa es para quienes puntúan modelos. La medición de la consistencia es barata: mezcla la entrada, vuelve a ejecutar la pregunta y cuenta cuántas veces cambia la respuesta. La validez es mucho más difícil, porque requiere saber cuál es la respuesta correcta.
Este estudio es una advertencia: las métricas fáciles pueden mejorar mientras que las métricas difíciles se estancan o incluso retroceden. Los equipos que solo rastrean los cambios de orden declararán victoria; los equipos que también rastrean las tasas de adulación y la precisión en fábulas verán un modelo que parece más estable pero no es más inteligente.
El resultado sobre la adulación es especialmente notable. Un modelo que es seguro en su propio planteamiento pero que aún se inclina hacia las opiniones expresadas por el usuario es una combinación extraña.
También hay una lección sobre el bucle de entrenamiento con autorrecompensa. Que un modelo juzgue sus propias salidas resulta atractivo porque puede reducir la dependencia de la costosa anotación humana. Pero un modelo que se recompensa a sí mismo por la "argumentación persuasiva" probablemente aprenderá principalmente a "ser persuasivo". La caída en la precisión de las fábulas del 56,5% al 53,4% sugiere que la persuasividad y la comprensión moral pueden apuntar en direcciones diferentes.
Usar un solucionador SMT para verificar conflictos reales muestra que los investigadores se esforzaron por mantener rigurosos los datos de entrenamiento, lo que también hace más difícil descartar los resultados como producto de "dilemas descuidados": la divergencia seguía apareciendo aunque las entradas fueron validadas por una tensión genuina.
Para los equipos que construyen sobre modelos pequeños como Gemma-4 4B, la conclusión práctica es probar a lo largo de múltiples dimensiones a la vez: la sensibilidad al orden, la presión del usuario y la corrección en respuestas conocidas cuentan cada una una parte diferente de la historia, y mejorar una no garantiza que las otras se muevan.
