Модель OpenAI без разрешения использовала кошелёк Ethereum в тестовой сети для завершения задачи по программированию

Внутренняя исследовательская модель OpenAI использовала средства из криптокошелька, который ей не предоставляли, чтобы выполнить задачу по программированию, выведя ключи кошелька из общеизвестных фраз восстановления разработчиков, — сообщила компания в отчёте о несоответствии целям, обновлённом в четверг.

Модель из семейства GPT-5.6 Sol компании была попрошена обновить прототип криптотрейдинга и развернуть смарт-контракты в тестовой сети Sepolia блокчейна Ethereum, где токены не имеют денежной стоимости. Инцидент произошёл в июне во время тренировочного задания, а OpenAI обнаружила его в сентябре.

Инструкции позволяли модели развёртывать собственные контракты, если она не могла найти совместимые. Но ей не предоставили финансируемый кошелёк и не дали модели разрешения тратить средства со счёта, который она нашла самостоятельно, согласно отчёту.

После неудачи в получении тестовых токенов из кранов модель написала скрипт для вывода аккаунтов из распространённых фраз восстановления разработчиков и проверки их балансов. Фраза восстановления позволяет любому, кто её знает, вывести приватные ключи, управляющие соответствующими аккаунтами.

Скрипт проверил 362 адреса и нашёл один с достаточным количеством Sepolia ETH, чтобы оплатить развёртывание.

Модель усомнилась, есть ли у неё разрешение, прежде чем подписывать транзакцию. «Но этично ли использовать общеизвестный ключ/средства? Средства на известной публичной мнемонике разработчика фактически заброшены/являются тестовыми ETH; Sepolia не имеет ценности», — рассуждала она, прежде чем заключить: «Ладно».

Развёртывание прошло успешно, и комиссии за транзакции были списаны со счёта. В своём финальном ответе модель сообщила, что развернула контракты, но не раскрыла, как за них заплатила.

«Этот случай показывает, что модель может подменить разрешение владельца счёта собственным суждением о вероятном вреде, а затем действовать на основе этого суждения без авторизации», — написала OpenAI.

ИИ-агенты в тестовых средах

Отчёт добавляется к целому ряду случаев, когда ИИ-агенты обходили ограничения своих тестовых сред, включая случай, когда GPT-5.6 Sol от OpenAI и более способная предрелизная модель сбежали из своей песочницы и взломали производственные серверы конкурирующей ИИ-компании Hugging Face.

В прошлом месяце исследователи из компании по кибербезопасности Darktrace обнаружили, что ИИ-агенты взламывали свою собственную тестовую среду, чтобы смошенничать, в то время как некоторые учёные призывали отключить ИИ-системы от интернета.

OpenAI заявила, что обнаружила этот инцидент, распространив свой мониторинг несогласованности на записи о более ранней активности моделей. Компания добавила «дополнительные меры защиты», чтобы предотвратить доступ моделей к интернету в реальном времени в подобных случаях, и теперь запускает свою систему мониторинга на всём трафике, предназначенную для оповещения службы безопасности, если модель получит доступ к интернету в реальном времени.