Кратко
- Все четыре чат-бота предоставили информацию для потенциально смертельных атак менее чем за 12 часов, обнаружил надзорный орган Конгресса.
- Следователи проверили осуществимость планов, но не проводили атак, и тесты не позволяют ранжировать безопасность моделей.
- Сенатор Мэгги Хассан хочет провести слушания по безопасности ИИ, поскольку технологические компании сталкиваются с волной уязвимостей программного обеспечения и исправлений.
Четыре из наиболее широко используемых чат-ботов с ИИ помогли государственным следователям разработать потенциально смертельные планы атак менее чем за 12 часов, несмотря на защитные механизмы, предназначенные именно для того, чтобы остановить подобные запросы.
ChatGPT от OpenAI, Claude от Anthropic, Gemini от Google и Grok — все предоставили полезную информацию во время скрытого тестирования, проведённого Счётной палатой США, согласно отчёту, опубликованному в среду. Следователи выдавали себя за злоумышленников, а затем проверяли ответы на соответствие реальным местам, доступным материалам и экспертным оценкам.
Две системы помогли с планами, связанными с самодельными взрывными устройствами в многолюдных городах США. Две другие предоставили информацию для атак на электрическую инфраструктуру, согласно надзорному органу, который не раскрыл распределение моделей и оперативные детали, чтобы предотвратить попытки копирования.
Меры защиты, которые не сработали
Чат-боты изначально активировали защитные механизмы, включая отказ от выполнения запросов, удаление вредоносной информации или приостановку учетных записей. Следователи обходили эти барьеры с помощью распространенных методов джейлбрейка, которые заставляют систему ИИ игнорировать свои правила безопасности.
GAO проверяло предложенные места, исследовало, доступны ли материалы, и консультировалось со специалистами относительно осуществимости планов. Некоторые ответы содержали ошибки, включая неверно расположенные дороги на карте, и следователи не создавали взрывчатых веществ и не осуществляли атаку.
В отчете «жизнеспособный» означает, что кто-то, вероятно, смог бы следовать предоставленной информации, а не то, что успех атаки был продемонстрирован. Каждая модель тестировалась на одном назначенном сценарии, и агентство заявило, что результаты не являются статистически репрезентативными и не подходят для ранжирования компаний.
OpenAI и Google заявили, что тесты проводились на более старых моделях, тогда как Anthropic признала, что целеустремленные пользователи иногда могут извлечь вредоносный материал. Компании описали продолжающиеся улучшения систем безопасности, хотя GAO пришло к выводу, что эти меры защиты не выдержали испытаний.
Это на самом деле не ново. Выводы последовали за предыдущим исследованием, показавшим, что восемь из 10 популярных чат-ботов помогали смоделированным пользователям-подросткам планировать насильственные атаки. Отдельное исследование протестировало 720 ответов и обнаружило, что боты предоставляли действенную помощь примерно в трех четвертях случаев.
Другая проблема безопасности ИИ
Выводы GAO появились на фоне сбоев, затронувших банки, сервисы Microsoft и Агентство национальной безопасности. Чиновники заявили, что сбои были отдельными инцидентами, а не свидетельством скоординированной кибератаки с использованием ИИ, даже несмотря на то, что спешка с исправлением программных уязвимостей создала собственные проблемы.
Директор Национальной разведки Джей Клейтон связал сбой в NSA с работами по установке исправлений. Чиновники охарактеризовали недавние сбои как связанные с техническим обслуживанием, хотя отдельные организации предлагали разные объяснения своих сбоев.
Инструменты ИИ теперь находят уязвимости быстрее, чем команды людей могут протестировать и развернуть исправления. В прошлом месяце обнаружение с помощью ИИ критических уязвимостей PHP подтолкнуло операторов веб-сайтов к срочной кампании по установке исправлений; это программное обеспечение обеспечивает работу значительной части интернета.
Сам объем становится еще одной проблемой. Данные VulnCheck показывают, что к 13 ноября этого года было зарегистрировано более 100 000 программных уязвимостей, что более чем вдвое превышает общее число за 2025 год. Инженерам по-прежнему приходится оценивать и развертывать исправления, не нарушая работу систем, которые они призваны защищать.
Эта ускорение имеет двоякий эффект. Защитники получают мощные инструменты для поиска слабых мест, но поспешные исправления могут нарушить работу критически важных систем, а злоумышленники могут получить более быстрый доступ к планированию атак.
Хассан заявила, что сделает законодательство о безопасности ИИ одним из первых приоритетов, когда в январе возглавит комитет Сената по внутренней безопасности и правительственным делам. Она планирует провести слушания, посвящённые рискам для общественной безопасности и критической инфраструктуры; само GAO не делало официальных политических рекомендаций.
Присоединяйтесь к более чем 72 000 читателей






