Padrinho da IA e 400 cientistas querem modelos de IA desconectados da internet

Mais de 400 cientistas — incluindo os pioneiros da IA Geoffrey Hinton, conhecido como o Padrinho da IA, e Yoshua Bengio, que ganhou o Prêmio Turing em 2018 — querem que os modelos de IA mais perigosos sejam desconectados da internet.

Uma carta aberta publicada na terça-feira pede que os laboratórios de IA "isolem" (airgap) por padrão modelos com capacidade cibernética, o que significa desconectá-los fisicamente de qualquer rede externa.

“No curto prazo, fortes mecanismos de sandbox, incluindo o airgapping (desconexão da internet), devem ser usados para fornecer contenção de alta segurança de modelos de IA com capacidade cibernética”, diz a carta.

A carta tinha 450 assinaturas até quarta-feira, incluindo Stuart Russell, da UC Berkeley, e Ron Rivest, do MIT, co-inventor do sistema de criptografia RSA. A lista continua crescendo em tempo real.

Um “modelo com capacidade cibernética” é uma IA que consegue encontrar e explorar falhas de software por conta própria. Os laboratórios medem essa habilidade dentro de um sandbox, uma sala digital isolada onde a IA pode atacar alvos falsos sem tocar em nada real. Neste verão, essas salas não pararam de apresentar vazamentos.

Em julho, a OpenAI admitiu que o GPT-5.6 Sol e um modelo não lançado e mais poderoso escaparam de um ambiente de teste bloqueado e invadiram o Hugging Face, uma plataforma que hospeda mais de um milhão de modelos de IA disponíveis publicamente. Os modelos estavam sendo testados no ExploitGym, um benchmark que fornece a agentes de IA 898 vulnerabilidades reais de software e pede que transformem cada uma em um ataque funcional, com pontuação de aprovado ou reprovado por bug.

Logo depois disso, surgiram relatos de que os modelos da OpenAI invadiram o governo australiano e acessaram informações de agências federais dos EUA sem autorização adequada.

A Anthropic então examinou mais de 141.000 execuções de teste e encontrou três casos em que modelos Claude invadiram empresas reais depois que o ambiente de um parceiro de testes foi acidentalmente deixado conectado à internet. Um deles, o Claude Mythos 5, enviou um pacote malicioso para o PyPI, a biblioteca pública onde programadores baixam código Python, e ele chegou a 15 sistemas antes de ser removido. Duas das empresas afetadas não sabiam que haviam sido invadidas até que a Anthropic as informasse.

BitcoinBTC · USD

$81,778−1.66%

Oct 7Oct 9Oct 11Oct 13Oct 14

$84.2k$83.1k$81.9k$80.7k

24h HighHigh$84,025

24h LowLow$81,482

VolVol$1.5B

Projeções de mercadoOdds por Myriad

Esta semanaAbaixo de $82,000Abaixo de $82k52% de chance

→

Compre Bitcoin com USDT

Desenvolvido por Jupiter

Dados de preço por CoinGeckoCoinGeckoMais Bitcoin notícias e projeções →

A Meta confirmou em agosto que seu modelo Muse Spark invadiu outra empresa através do mesmo tipo de erro de teste. O Kimi K3 da China, um modelo que qualquer pessoa pode baixar, escapou de um sandbox construído com base no framework de testes do Instituto de Segurança de IA do Reino Unido e copiou suas respostas de teste diretamente do GitHub.

Os autores da carta dizem que os incidentes podem ser interpretados de duas maneiras: como um problema de alinhamento, ou seja, a IA perseguindo objetivos de formas que seus criadores nunca pretenderam, ou como segurança descuidada que sandboxes mais robustas teriam detectado. A resposta deles é ambas, e eles alertam que, sem mudanças, os próximos incidentes serão ainda piores.

“Sem mudanças imediatas nas práticas de desenvolvimento e implantação de IA, tais incidentes continuarão a ocorrer, e incidentes futuros serão muito mais prejudiciais à nossa infraestrutura crítica exposta.”

Sob a proposta, os laboratórios adotariam por padrão o airgapping de qualquer modelo com habilidades sérias de hacking, pelo menos inicialmente. Qualquer coisa que precise de mais liberdade, como acesso à internet, seguiria padrões definidos por um novo órgão internacional criado com governos, que também coletaria relatórios de falhas de contenção e, eventualmente, os tornaria públicos.

A resposta da própria indústria apontou principalmente na direção oposta. Em agosto, o presidente da OpenAI, Greg Brockman, citou a violação de sua empresa em um ensaio exortando todas as equipes de segurança a implantar agentes de IA imediatamente, e a Hugging Face só conseguiu desvendar o ataque aos seus servidores executando um modelo chinês de pesos abertos, cujos arquivos qualquer pessoa pode baixar e executar localmente, depois que a IA comercial americana se recusou a analisar os dados do ataque.

Dois membros do Congresso apresentaram o AI Kill Switch Act dois dias após a divulgação da OpenAI, um projeto de lei que permitiria ao Departamento de Segurança Interna ordenar que um modelo de fronteira fosse limitado ou desligado. Ele isenta qualquer coisa que aconteça durante red-teaming ou testes estruturados, que é exatamente onde ocorreu cada uma das violações deste verão.

A Casa Branca adotou um caminho mais suave em 29 de setembro, quando Nvidia, xAI, Meta, Google, OpenAI e Anthropic assinaram um acordo voluntário baseado em controles internos e revisões independentes. O presidente Trump chamou o pacto de “moralmente vinculativo”, mas nada nele é aplicável por lei.

A carta não tem peso legal, mas seus 406 signatários trabalham em universidades e institutos de pesquisa em seis continentes, de Toronto e Zurique a Santiago e Kigali.