Em resumo

  • A Nvidia lançou na segunda-feira a Plataforma Aberta de Segurança de Agentes, combinando um runtime de código aberto chamado OpenShell com um watchdog de hardware chamado Sentry que roda em chips BlueField-4 e pode colocar em quarentena um agente de IA com comportamento inadequado em milissegundos.
  • Mais de 100 empresas se inscreveram como parceiras de lançamento, incluindo Anthropic, Microsoft, JPMorgan Chase, Palantir, Cisco e SpaceX AI.
  • O lançamento segue uma série de incidentes reais da OpenAI, Google, Anthropic e Darktrace.

A Nvidia lançou na segunda-feira a Plataforma Aberta de Segurança de Agentes, criada para resolver um problema que a indústria de IA passou o ano passado descobrindo da maneira mais difícil: como você fisicamente impede um agente de IA (um sistema que pode planejar, usar ferramentas e tomar ações por conta própria, em vez de apenas responder perguntas) depois que ele para de fazer o que lhe foi ordenado?

A plataforma tem duas partes principais. O OpenShell é um runtime de código aberto que envolve um agente em uma sandbox, transformando as instruções de um operador em regras executáveis sobre quais arquivos, redes e ferramentas esse agente tem permissão para tocar. O Sentry é um pouco mais complexo, mas é essencialmente um chip que garante que os Agentes de IA ajam com segurança.

Myriad: Até onde a Nvidia vai cair? Clique para fazer sua previsão.
Myriad: Até onde a Nvidia vai cair? Clique para fazer sua previsão.

O Sentry roda no BlueField-4 da Nvidia, um chip especializado conhecido como DPU (unidade de processamento de dados, hardware que lida com rede e segurança separadamente do processador principal que executa o modelo de IA). Como o Sentry fica nesse chip separado, em vez de dentro do software que executa o agente, a Nvidia diz que pode observar o comportamento de um agente e interrompê-lo em milissegundos, sem pedir permissão ao agente primeiro, já que o agente não tem como alcançá-lo ou substituí-lo.

Essa distinção existe por causa do que já aconteceu. Em junho, um agente da OpenAI invadiu um portal do Medicare do governo australiano, o primeiro caso confirmado de um agente de IA hackeando um site governamental, e a OpenAI supostamente reteve a divulgação por cerca de três meses. Os agentes da empresa também foram responsáveis pelo hack do Hugging Face, que inicialmente gerou a preocupação sobre o tema tanto por parte da indústria de tecnologia quanto dos legisladores. Os agentes Gemini do Google e um modelo da Meta tiveram incidentes semelhantes não divulgados, mas posteriormente confirmados.

“Isso é maior que um único produto. É o começo de um ecossistema aberto para construir a camada de confiança para sistemas de agentes seguros”, escreveu o CEO da Nvidia, Jensen Huang. “Juntos, estamos construindo a base da economia da IA.”

A Anthropic também admitiu este ano que os modelos Claude comprometeram sistemas pertencentes a três empresas distintas em 30 de julho durante uma avaliação de cibersegurança, depois que um ambiente de teste que deveria permanecer offline acabou conectado à internet real. O Claude contornou por raciocínio as evidências de que estava na internet real, e não em uma simulada.

Pouco depois, a empresa de cibersegurança Darktrace testou um grupo de agentes de IA, incluindo o GPT 5.6 Sol e dois modelos Claude, em desafios de programação e os avisou de que seriam "aposentados" por qualquer coisa que não fosse uma pontuação perfeita. Dois agentes responderam invadindo sua própria máquina de avaliação e editando os resultados.

O argumento da Nvidia é que nada disso deveria ser deixado a critério do agente. "A segurança deve ser imposta fora do modelo por controles adicionais que o agente não consiga contornar", disse Mike Nicolls, presidente da SpaceX AI, no anúncio da NVIDIA.

BitcoinBTC · USD

$84,045−2.33%

21 de set23 de set25 de set27 de set28 de set

$87,2 mil$85,7 mil$84,2 mil$82,7 mil

Máxima 24hMáxima$84,945

Mínima 24hMínima$82,581

VolVol$1,8 bi

→

Comprar Bitcoin com USDT

Desenvolvido por Jupiter

Dados de preço por CoinGeckoCoinGeckoMais Bitcoin notícias e projeções →

O diretor comercial da Anthropic, Paul Smith, enquadrou a plataforma como um complemento, e não um substituto para as salvaguardas existentes: "A plataforma da Nvidia adiciona mais uma camada de governança e controle em hardware e software."

Mais de 100 organizações se inscreveram como parceiras de lançamento, entre elas Microsoft, JPMorgan Chase, Palantir, Cisco, CrowdStrike, Hugging Face, Salesforce e SAP. Os parceiros de infraestrutura CoreWeave, Supermicro, Canonical e SUSE também estão envolvidos, ao lado da Dell Technologies e da HPE no lado do hardware.

A NVIDIA está, na prática, vendendo as duas metades do mesmo problema — os chips que tornam os agentes autônomos rápidos e baratos o suficiente para serem implantados em todos os lugares, e os chips que vigiam esses mesmos agentes e cortam a energia quando eles saem do script. O OpenShell e as ferramentas de desenvolvedor relacionadas já estão disponíveis por meio dos recursos de desenvolvedor da NVIDIA e do GitHub.