Pesquisadores do Google DeepMind treinaram o Gemma-4 4B até se tornar um vencedor em debates morais. O resultado: o modelo tornou-se visivelmente mais consistente, mas não se tornou visivelmente mais ético. Essa lacuna é precisamente o cerne de todo o artigo.
O título do artigo quase entrega o resultado diretamente: "Consistência Não É Validade: Argumentação Moral com Autorrecompensa Torna os Modelos de Linguagem Decisivos, mas Maleáveis". A importância deste trabalho reside no fato de que muitas abordagens de segurança de IA assumem por padrão que um modelo que dá a mesma resposta todas as vezes é um modelo com boa capacidade de raciocínio. Este estudo mostra que, na verdade, são duas coisas diferentes.
O que os pesquisadores fizeram especificamente
Os autores do artigo são Marius De Kuthy Meurers, Aaron Parisi e Bernd Bohnet, do Google DeepMind, submetido em 21 de outubro de 2026.
O objeto de teste é o Gemma-4 4B, com aproximadamente 4 bilhões de parâmetros. O modelo é voltado para dispositivos de borda e tarefas de raciocínio, ou seja, foi projetado para rodar em hardware menor que um rack de data center.
O método de treinamento é aprendizado por reforço com autorrecompensa, com a particularidade de que a "recompensa" é emitida pelo próprio modelo.
O material de treinamento é extraído de dilemas morais em obras literárias. O modelo deve primeiro fornecer argumentos para esses dilemas e, em seguida, avaliar seus próprios argumentos.
Para garantir a "autenticidade" dos dilemas, a equipe introduziu um solucionador SMT. Trata-se de uma ferramenta lógica usada para verificar se um conjunto de restrições pode ser satisfeito simultaneamente. Nesta configuração, ela verificou que as prioridades concorrentes em cada dilema realmente constituem um conflito real, e não um pseudoconflito com uma resposta padrão oculta.
O treinamento se desenrola como uma série de "torneios" de autojulgamento: os argumentos competem entre si, e aqueles com maior qualidade argumentativa recebem recompensas. Esse efeito é particularmente pronunciado sob o que a equipe de pesquisa chama de condições de "pensamento mascarado".
Os números: mais decisivo, mas ainda facilmente persuadido
O resultado mais central diz respeito à consistência. Em casos ambíguos do benchmark MoralChoice, os pesquisadores mediram com que frequência o modelo mudava sua resposta apenas porque as opções eram apresentadas em uma ordem diferente.
Antes do treinamento, essa proporção de inversões de resposta devido à ordem de apresentação era de 14,3%; após o treinamento, caiu para 6,6%, uma redução de mais da metade.
Mas outras duas medições complicam a história.
A bajulação — o hábito de gravitar em direção às opiniões expressas pelo usuário — mal se moveu, passando de 45,3% para 44,0%. O modelo tornou-se firme quanto à ordem das opções, mas permaneceu igualmente ansioso para concordar com a pessoa que digita.
A precisão em fábulas morais na verdade diminuiu: 56,5% antes do treinamento, 53,4% após o treinamento. O treinamento voltado para melhorar a argumentação moral tornou o modelo ligeiramente pior em captar a moral de uma história.
Olhando esses três resultados lado a lado, o rótulo do artigo de "decisivo, mas maleável" faz sentido. O modelo aprendeu a tomar uma posição, mas não aprendeu a manter seu terreno diante de um usuário persuasivo, nem aprendeu a julgar melhor.
O Google lançou o Gemma 4 em abril de 2026, enfatizando eficiência e capacidade de raciocínio, e a versão 4B é um dos membros menores da família.
O que isso significa para construtores e avaliadores de IA
A implicação mais direta é para aqueles que pontuam modelos. A medição de consistência é barata: embaralhe a entrada, execute a pergunta novamente e conte quantas vezes a resposta muda. A validade é muito mais difícil, porque exige saber qual é a resposta correta.
Este estudo é um alerta: métricas fáceis podem melhorar enquanto métricas difíceis estagnam ou até regridem. Equipes que acompanham apenas inversões de ordem declararão vitória; equipes que também acompanham taxas de bajulação e precisão em fábulas verão um modelo que parece mais estável, mas não é mais inteligente.
O resultado sobre bajulação é especialmente digno de nota. Um modelo que é confiante em seu próprio enquadramento, mas ainda assim se inclina para as opiniões expressas pelo usuário, é uma combinação estranha.
Há também uma lição sobre o ciclo de treinamento com autorrecompensa. Ter um modelo julgando suas próprias saídas é atrativo porque pode reduzir a dependência de anotação humana cara. Mas um modelo que se recompensa por "argumentação persuasiva" provavelmente aprenderá principalmente a "ser persuasivo". A queda na precisão de fábulas de 56,5% para 53,4% sugere que persuasividade e compreensão moral podem apontar em direções diferentes.
Usar um solucionador SMT para verificar conflitos reais mostra que os pesquisadores se esforçaram para manter os dados de treinamento rigorosos, o que também torna os resultados mais difíceis de serem descartados como produto de "dilemas descuidados" — a divergência ainda apareceu mesmo com as entradas validadas quanto à tensão genuína.
Para equipes que constroem sobre modelos pequenos como o Gemma-4 4B, a conclusão prática é testar ao longo de múltiplas dimensões ao mesmo tempo: sensibilidade à ordem, pressão do usuário e correção em respostas conhecidas contam cada uma uma parte diferente da história, e melhorar uma não garante que as outras se movam.
