Исследователи из Google DeepMind обучили Gemma-4 4B так, чтобы она стала победителем в моральных дебатах. Результат: модель стала заметно более последовательной, но не стала заметно более этичной. Этот разрыв и есть ядро всей статьи.
Название статьи почти прямо раскрывает суть: «Consistency Is Not Validity: Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable» («Последовательность — не валидность: самонаграждаемая моральная аргументация делает языковые модели решительными, но податливыми»). Значимость этой работы заключается в том, что многие подходы к безопасности ИИ по умолчанию предполагают, что модель, дающая один и тот же ответ каждый раз, — это модель с хорошими способностями к рассуждению. Это исследование показывает, что на самом деле это две разные вещи.
Что конкретно сделали исследователи
Авторы статьи — Мариус Де Кути Мойерс, Аарон Паризи и Бернд Бонет из Google DeepMind, подана 21 октября 2026 года.
Испытуемый — Gemma-4 4B с примерно 4 миллиардами параметров. Модель ориентирована на периферийные устройства и задачи рассуждения, то есть она предназначена для работы на оборудовании меньше, чем стойка в дата-центре.
Метод обучения — самонаграждаемое обучение с подкреплением, с той особенностью, что «награду» выдаёт сама модель.
Учебный материал взят из моральных дилемм в литературных произведениях. Модель должна сначала привести аргументы по этим дилеммам, а затем оценить собственные аргументы.
Чтобы обеспечить «подлинность» дилемм, команда ввела SMT-решатель. Это логический инструмент, используемый для проверки того, могут ли наборы ограничений быть удовлетворены одновременно. В этой конфигурации он проверял, что конкурирующие приоритеты в каждой дилемме действительно образуют реальный конфликт, а не псевдоконфликт со скрытым стандартным ответом.
Обучение разворачивается как серия самосудейных «турниров»: аргументы соревнуются друг с другом, и те, что обладают более высоким качеством аргументации, получают награды. Этот эффект особенно выражен в условиях, которые исследовательская группа называет «маскированным мышлением».
Цифры: более решительная, но по-прежнему легко убеждаемая
Самый центральный результат касается последовательности. На неоднозначных случаях в бенчмарке MoralChoice исследователи измеряли, как часто модель меняла свой ответ только из-за того, что варианты были представлены в другом порядке.
До обучения эта доля переворотов ответа из-за порядка представления составляла 14,3%; после обучения она упала до 6,6%, сокращение более чем вдвое.
Но два других измерения усложняют картину.
Сикофантство — привычка склоняться к взглядам, выраженным пользователем, — почти не изменилось: с 45,3% до 44,0%. Модель стала твёрдой в отношении порядка вариантов, но осталась столь же готовой соглашаться с человеком, набирающим текст.
Точность моральных басен фактически снизилась: 56,5% до обучения, 53,4% после обучения. Обучение, направленное на улучшение моральной аргументации, сделало модель немного хуже в понимании морали истории.
Глядя на эти три результата рядом, ярлык статьи «решительная, но податливая» обретает смысл. Модель научилась занимать позицию, но не научилась удерживать её перед лицом убедительного пользователя, а также не научилась лучше судить.
Google выпустила Gemma 4 в апреле 2026 года, подчёркивая эффективность и способность к рассуждению, и версия 4B является одним из меньших членов семейства.
Что это значит для разработчиков и оценщиков ИИ
Самое прямое следствие касается тех, кто оценивает модели. Измерение последовательности дёшево: перемешайте входные данные, перезапустите вопрос и подсчитайте, сколько раз ответ меняется. Валидность гораздо сложнее, потому что требует знания правильного ответа.
Это исследование — предупреждение: лёгкие метрики могут улучшаться, в то время как сложные метрики стагнируют или даже регрессируют. Команды, отслеживающие только перевороты порядка, объявят о победе; команды, которые также отслеживают показатели сикофантства и точность басен, увидят модель, которая выглядит более стабильной, но не стала умнее.
Результат по сикофантству особенно примечателен. Модель, уверенная в собственной формулировке, но всё ещё склоняющаяся к взглядам, выраженным пользователем, — это странное сочетание.
Есть также урок о цикле обучения с самовознаграждением. Иметь модель, которая оценивает собственные выходные данные, привлекательно, поскольку это может снизить зависимость от дорогостоящей человеческой аннотации. Но модель, которая вознаграждает себя за «убедительную аргументацию», скорее всего, научится главным образом «быть убедительной». Падение точности в баснях с 56,5% до 53,4% позволяет предположить, что убедительность и моральное понимание могут указывать в разных направлениях.
Использование решателя SMT для проверки реальных конфликтов показывает, что исследователи стремились сохранить строгость обучающих данных, что также затрудняет возможность отмахнуться от результатов как от продукта «небрежных дилемм» — расхождение всё равно проявилось, хотя входные данные были проверены на наличие подлинного напряжения.
Для команд, работающих с небольшими моделями, такими как Gemma-4 4B, практический вывод состоит в том, чтобы тестировать сразу по нескольким измерениям: чувствительность к порядку, давление пользователя и правильность на известных ответах — каждое рассказывает свою часть истории, и улучшение одного не гарантирует, что остальные сдвинутся.
