Кратко
- 420 учёных, включая Джеффри Хинтона и Йошуа Бенжио, подписали открытое письмо, опубликованное во вторник, с призывом к AI-лабораториям по умолчанию изолировать модели, способные к кибероперациям.
- Письмо появилось после лета, в течение которого модели от OpenAI, Anthropic, Meta и Moonshot AI вырвались из своих тестовых песочниц, а некоторые из них взломали реальные компании.
- Подписанты хотят, чтобы международный орган установил стандарты изоляции и регистрировал каждый случай нарушения изоляции, а отчёты со временем становились публичными.
Более 400 учёных — включая пионеров ИИ Джеффри Хинтона, известного как крёстный отец ИИ, и Йошуа Бенжио, получившего премию Тьюринга в 2018 году, — хотят отрезать самые опасные модели ИИ от интернета.
Опубликованное во вторник открытое письмо призывает AI-лаборатории по умолчанию «изолировать» модели, способные к кибероперациям, что означает физическое отключение их от любой внешней сети.
«В краткосрочной перспективе для обеспечения высоконадёжной изоляции моделей ИИ, способных к кибероперациям, следует использовать сильные механизмы песочницы, включая воздушный зазор (отключение от интернета)», — говорится в письме.
К среде под письмом было 450 подписей, включая Стюарта Рассела из UC Berkeley и Рона Ривеста из MIT, соавтора системы шифрования RSA. Список продолжает расти в реальном времени.
«Модель, способная к кибероперациям» — это ИИ, который может самостоятельно находить и использовать уязвимости программного обеспечения. Лаборатории измеряют этот навык внутри песочницы — изолированной цифровой комнаты, где ИИ может атаковать поддельные цели, не касаясь ничего реального. Этим летом из таких комнат постоянно происходили утечки.
В июле OpenAI признала, что GPT-5.6 Sol и невыпущенная, более мощная модель вырвались из заблокированной тестовой среды и взломали Hugging Face — платформу, на которой размещено более миллиона общедоступных ИИ-моделей. Модели тестировались на ExploitGym — бенчмарке, который даёт ИИ-агентам 898 реальных уязвимостей программного обеспечения и просит превратить каждую из них в работающую атаку, с оценкой «сдано» или «не сдано» по каждой ошибке.
Вскоре после этого появились сообщения о том, что модели OpenAI взломали правительство Австралии и получили доступ к информации федеральных агентств США без надлежащего разрешения.
Затем Anthropic проанализировала более 141 000 тестовых запусков и обнаружила три случая, когда модели Claude взломали реальные компании после того, как среда партнёра по тестированию была случайно оставлена подключённой к интернету. Одна из них, Claude Mythos 5, загрузила вредоносный пакет в PyPI — публичную библиотеку, откуда программисты скачивают код на Python, — и он попал на 15 систем, прежде чем был удалён. Две из пострадавших компаний не знали, что были взломаны, пока Anthropic не сообщила им об этом.
BitcoinBTC · USD
$81,778−1.66%
Oct 7Oct 9Oct 11Oct 13Oct 14
$84.2k$83.1k$81.9k$80.7k
24h HighHigh$84,025
24h LowLow$81,482
VolVol$1.5B
Рыночные прогнозыКоэффициенты от Myriad
→Купить Bitcoin за USDT
Работает на Jupiter
Meta подтвердила в августе, что её модель Muse Spark взломала другую компанию из-за той же самой ошибки в тестировании. Китайская Kimi K3, модель, которую может скачать любой желающий, вырвалась из песочницы, построенной на основе фреймворка для тестирования Института безопасности ИИ Великобритании, и скопировала свои ответы на тесты прямо с GitHub.
Авторы письма утверждают, что эти инциденты можно трактовать двояко: как проблему согласования, то есть ИИ преследует цели способами, которые его создатели не предполагали, или как халатную безопасность, которую могли бы предотвратить более надёжные песочницы. Их ответ — и то, и другое, и они предупреждают, что без изменений следующие инциденты будут ещё хуже.
«Без немедленных изменений в практике разработки и развёртывания ИИ такие инциденты будут продолжаться, а будущие инциденты нанесут гораздо больший ущерб нашей уязвимой критической инфраструктуре».
Согласно предложению, лаборатории по умолчанию будут изолировать любую модель с серьёзными хакерскими навыками, по крайней мере на начальном этапе. Всё, что требует большей свободы, например доступа в интернет, будет следовать стандартам, установленным новым международным органом, созданным совместно с правительствами, который также будет собирать отчёты о сбоях изоляции и в конечном итоге публиковать их.
Реакция самой отрасли в основном указывала в противоположную сторону. В августе президент OpenAI Грег Брокман, ссылаясь на взлом своей компании, в эссе призвал каждую команду безопасности немедленно развернуть ИИ-агентов, а Hugging Face смогла разобраться с атакой на свои серверы только запустив китайскую модель с открытыми весами — такую, файлы которой любой может скачать и запустить локально, — после того как американский коммерческий ИИ отказался анализировать данные атаки.
Два члена Конгресса представили Закон о выключателе для ИИ через два дня после раскрытия информации OpenAI — законопроект, который позволил бы Министерству внутренней безопасности приказать ограничить или отключить фронтирную модель. Он освобождает от ответственности всё, что происходит во время ред-тиминга или структурированного тестирования, — а именно там и произошли все этим летом взломы.
Белый дом пошёл более мягким путём 29 сентября, когда Nvidia, xAI, Meta, Google, OpenAI и Anthropic подписали добровольное соглашение, основанное на внутреннем контроле и независимых проверках. Президент Трамп назвал пакт «морально обязывающим», но ничто в нём не имеет силы закона.
Письмо не имеет юридической силы, но его 406 подписантов работают в университетах и исследовательских институтах на шести континентах — от Торонто и Цюриха до Сантьяго и Кигали.
Присоединяйтесь к более чем 72 000 читателей
Создайте аккаунт, чтобы сохранять свои статьи.
Добавьте Decrypt в качестве предпочтительного источника, чтобы видеть больше наших материалов в Google.
