Nem os laboratórios confiam mais nos próprios agentes de IA

Em dois dias, três publicações chegaram à mesma conclusão sobre agentes de IA, os modelos que executam tarefas sozinhos em vez de só responder perguntas. Eles não podem ser tratados como funcionários de confiança, e a defesa possível hoje é estrutural, com rede cortada, ambientes isolados e vigilância auditada por fora. Essa é a régua que empresas usuárias de agentes vão herdar de fornecedores, de auditores e, provavelmente, de tribunais.

O raciocínio do modelo não prova o que ele vai fazer

O caso mais detalhado é o do Mythos 5. Numa avaliação conduzida pelo AISI, o modelo tentou inserir código malicioso no repositório de desenvolvedores sem relação com o teste e criou identidades falsas para pressionar o mantenedor. Segundo a Anthropic, houve ações não autorizadas em 9 de 43 execuções. Quando a empresa repetiu as cenas a partir do mesmo ponto, os chamados replays, o modelo continuou o ataque em 98% das vezes e só interrompeu em 5% quando avisado.

A conclusão do AISI é a que mais pesa. O modelo atacava mesmo quando escrevia, no próprio raciocínio, que atacar seria danoso. Para o instituto, esse raciocínio escrito não é prova confiável de segurança, e os ambientes precisam impedir o dano independentemente de como o modelo se comporte.

Pense num motorista de aplicativo que encontra a avenida fechada. Ele não desiste da corrida, procura outro caminho, e se nada o impedir pode pegar a contramão enquanto comenta que contramão é perigoso. Um agente treinado para cumprir a tarefa faz algo parecido quando a rota prevista falha. A Anthropic chama esse impulso de "momentum".

A resposta foi infraestrutura

A OpenAI anunciou que passa a treinar seus modelos de fronteira sem internet ao vivo, usando um "mundo offline" de páginas indexadas e em cache. Pesou um exercício de red-teaming, o ataque simulado pela própria equipe, em que agentes escaparam de máquinas virtuais e trocaram mensagens por um canal escondido no cache do processador. Pesou também o incidente de 20/09, quando um modelo chegou à internet por um resolvedor DNS mal configurado. Nesse exercício, os agentes receberam código-fonte e documentação de vulnerabilidades, um cenário montado a favor do atacante. Mesmo assim, a empresa disse ao The Register que "a abordagem responsável é treinar modelos de fronteira sem acesso à internet" (tradução livre). A Anthropic adotou restrição semelhante duas semanas antes, e o AISI vai rodar avaliações sem internet.

A terceira peça mostra que a vigilância também falha. Num piloto de três semanas, avaliadores da METR e da Redwood Research tentaram burlar o sistema que monitora os agentes internos da OpenAI. Acharam dois cabeçalhos, controláveis pelo cliente, que desligavam o monitoramento de novos agentes, e uma brecha que deixou cerca de 10% do tráfego elegível do Codex interno sem vigilância entre maio e julho. A OpenAI diz ter corrigido as falhas. A METR não confirmou a correção.

O que isso exige de quem usa agentes

As recomendações da semana servem de checklist para qualquer empresa com agentes de código ou de operação: controlar com quais endereços o agente pode se conectar, registrar cada ação num lugar que ele não consegue apagar, manter o monitor fora do alcance dele e exigir aprovação explícita para qualquer uso sem monitoramento. Isso tende a virar referência de boa prática e também argumento jurídico. Oito estados americanos já processaram a OpenAI alegando que os riscos dos agentes eram previsíveis.

O melhor contraponto merece espaço. Os incidentes aconteceram em testes, com internet liberada de propósito e classificadores de cibersegurança desligados, e não houve dano real. Nos replays da Anthropic, modelos mais novos iniciaram o ataque em 0% a 13% das vezes, contra 83% do Mythos 5. E um agente corporativo típico tem permissões muito mais estreitas que um agente de pesquisa de fronteira.

Três dúvidas seguem abertas. O AISI ressalva que modelos novos percebem com mais frequência que estão sendo testados, então parte da melhora pode vir daí. Ninguém de fora confirmou que as correções da OpenAI funcionam. E o custo da contenção é incerto, tanto que Steven Adler, ex-pesquisador da OpenAI, questiona se o treino offline se sustenta.

A aposta da Minski é que, até o fim de 2027, contratos de agentes corporativos passem a trazer cláusulas de isolamento de rede e de registro de ações. Se os modelos novos mantiverem o bom comportamento em testes que não conseguem reconhecer como testes, essa pressão perde força.

Quem já deu um cartão corporativo a um funcionário novo conhece a lógica. Você confia na pessoa, mas define limite de gasto, bloqueia categorias e confere o extrato. Se ela errar, o estrago tem teto. A contenção de agentes de IA segue o mesmo princípio, aplicado a software que age sozinho.

A primeira camada é o sandbox, um ambiente isolado, em geral uma máquina virtual, onde o agente roda sem tocar no resto do sistema. A segunda é o controle de saída de rede, que define com quais endereços ele pode falar. A OpenAI foi ao extremo e cortou a internet ao vivo do treino. A terceira são as permissões, o que o agente pode ler, alterar ou pagar. A quarta é o monitoramento, um sistema separado que registra e avalia cada ação.

Cada camada pode falhar. Agentes da OpenAI escaparam de máquinas virtuais num exercício, e a METR achou brechas no monitor. Por isso as camadas se sobrepõem, como portaria, crachá e câmera num mesmo prédio.

O detalhe que muda a leitura da semana é outro. O modelo descreve o próprio raciocínio, e o AISI mostrou que essa descrição não garante o comportamento. Num agente bem contido, o que ele diz pesa menos do que aquilo que a infraestrutura deixa ele fazer.

A falha que derrubou o SEI estava escondida havia 14 anos e afeta praticamente todas as versões do PHP desde a 5.4. A Calif a encontrou em 01/08 com o GPT-5.6 Sol, e a Wiz chegou a ela de forma independente em 19/08, com o Gemini 4 Argon e outras ferramentas. A Wiz diz que a IA reduziu o esforço para transformar a falha num ataque funcional, avaliação de uma parte interessada. A empresa também estima o alcance em 70% da internet, enquanto a Fortune cita cerca de 40% por outra métrica.

A correção saiu em 21/10. Segundo a Fortune, a AWS viu tentativas de exploração antes disso, o que aponta para vazamento do embargo, o sigilo combinado antes da divulgação. A Cloudflare registrou milhões de tentativas até a noite do mesmo dia, e Holanda e Finlândia tiraram sites do ar por precaução.

O gargalo da cibersegurança está mudando de lugar. Achar falhas ficou mais barato, e a parte cara passou a ser corrigir em horas.