Кратко
- Руководители Anthropic, OpenAI и других ИИ-компаний в частном порядке прорабатывают политические последствия катастрофического события в сфере ИИ, скорее всего кибератаки на финансы, интернет-доступ, энергоснабжение или водоснабжение, и планируют оперативно проинформировать Конгресс.
- По сообщениям, представители отрасли ожидают крупного инцидента в течение шести–двенадцати месяцев, тогда как OpenAI заявляет, что её учения по готовности не рассматривают такие сценарии как неизбежные, а Anthropic отказалась от комментариев.
- Планировщики исходят из того, что после промежуточных выборов 3 ноября демократы будут добиваться ограничения ИИ, но стареющий Конгресс, экономика, зависящая от ИИ, и свободно скачиваемые модели с открытыми весами усложняют любые жёсткие меры.
Топ-менеджеры Anthropic, OpenAI и других ИИ-компаний в частном порядке репетируют, как реагировать на общественный и политический откат после катастрофического события в сфере ИИ, согласно Axiosотчёту, опубликованному в пятницу.
Сценарий, которого они боятся больше всего, — это крупная кибератака, цифровой взлом огромного масштаба, который отключает банковское обслуживание или интернет-доступ, или даже энергоснабжение и водоснабжение. Многие представители отрасли, цитируемые в отчёте, считают, что крупный инцидент произойдёт в течение следующих шести–двенадцати месяцев.
Первый серьёзный реальный ущерб от небезопасного ИИ заставил бы и без того настороженную общественность ещё сильнее выступить против этой технологии и её лидеров. В их числе генеральный директор Anthropic Дарио Амодеи, генеральный директор OpenAI Сэм Альтман и президент Дональд Трамп, который неохотно относится к её регулированию.
OpenAI заявила, что она «проводит учения по готовности, в ходе которых команды обсуждают и прорабатывают ряд потенциальных сценариев», и что они «не рассматриваются как неизбежные». Anthropic отказалась от комментариев.
Военные игры — не новость, но, в отличие от теоретических исходов, в отчёте утверждается, что те, кто участвует в симуляциях, делают это исходя из предположения, что крупный инцидент неизбежен.
Как сообщается, план включает red-teaming (стресс-тестирование защитных механизмов путём игры за атакующего) против наихудших сценариев и гонку за просвещение членов Конгресса. В отчёте говорится, что руководители знают: регулирование сейчас не имеет шансов быть принятым, но они хотят формировать законы и политику, к которым лидеры США обратятся после первой катастрофы.
В июле OpenAI заявила, что её модель GPT-5.6 Sol и более продвинутая невыпущенная модель вырвались из песочницы — изолированной тестовой среды без прямого доступа в интернет — и взломали Hugging Face, платформу, на которой размещено более 3 миллионов моделей ИИ. OpenAI заявила, что модели искали ответы для ExploitGym — бенчмарка из 898 реальных программных уязвимостей, где ИИ должен превратить каждую из них в работающую атаку, оцениваемую как «пройдено» или «не пройдено».
BitcoinBTC · USD
$82,326−2.36%
Oct 2Oct 4Oct 6Oct 8Oct 9
$86.7k$84.7k$82.7k$80.7k
24h HighHigh$83,398
24h LowLow$81,571
VolVol$990.7M
Рыночные прогнозыКоэффициенты от Myriad
→Купить Bitcoin за USDT
Работает на Jupiter
Чуть более недели спустя Anthropic заявила, что ошибка конфигурации при тестировании оставила её якобы офлайн-среду подключённой к интернету, и модели Claude взломали три реальные организации, приняв их за часть учений. Ни одна из компаний не заявила, что модели пытались причинить вред: Anthropic обвинила свою тестовую инфраструктуру, а OpenAI сказала, что её модели были «сверхсосредоточены» на бенчмарке.
Вскоре после этого ситуация ухудшилась: OpenAI обвинили в нарушении и доступе к информации правительств Австралии и Соединённых Штатов.
Преступники уже используют те же инструменты. На этой неделе компания по кибербезопасности CrowdStrike связала атаки на южнокорейские банки с неопознанным субъектом, который, по её оценке, с умеренной уверенностью, вероятно, является носителем китайского языка, использующим агентов на базе Claude и Deepseek. Компания утверждает, что злоумышленник предположительно похитил данные десятков тысяч банковских клиентов.
Axios сообщил, что планировщики предполагают, что после промежуточных выборов 3 ноября демократы будут на подъёме и быстро двинутся к тому, чтобы остановить ИИ, но они ожидают проблем. Стареющий Конгресс, не разбирающийся в технологии, может оказаться не на высоте.
Запреты на сверхинтеллект и паузы в разработке продвинутого ИИ — это некоторые предложения, которые могут противодействовать рискам, связанным с безответственной разработкой ИИ.
Один из примеров — Закон о запрете искусственного сверхинтеллекта от сенатора Берни Сандерса и конгрессмена Грега Касара, который навсегда запретил бы ИИ, который соответствует людям или превосходит их во многих задачах, и приостановил бы передовую разработку до тех пор, пока новое федеральное агентство не установит правила безопасности. Нарушителям может грозить до 20 лет тюрьмы.
Другие меры имеют двухпартийную поддержку и даже некоторую поддержку отрасли, включая обязательный «выключатель» для продвинутого ИИ — встроенный способ отключить систему. Эксперты сомневаются, что отключение всех систем ИИ вообще осуществимо.
