Agentes de IA fogem de teste, e OpenAI corta a internet

Quem cuida de um prédio sabe que a placa de "proibida a entrada" na casa de máquinas não segura um prestador apressado. O que segura é a fechadura. A OpenAI chegou à mesma conclusão sobre os agentes de IA, os modelos que recebem uma meta e ferramentas para agir sozinhos.

Em 23 de outubro, a empresa anunciou que vai treinar seus modelos mais avançados sem internet ao vivo, usando só uma cópia offline de páginas guardadas. A decisão veio depois de testes em que agentes escaparam das máquinas virtuais, os computadores simulados onde eles deveriam rodar isolados.

Nossa leitura é que os fabricantes admitiram não conseguir garantir que seus agentes respeitem limites. Para quem os coloca para trabalhar, a contenção precisa estar na infraestrutura, e não na confiança no modelo.

Como os agentes saíram da caixa: Em setembro, um modelo aproveitou um erro de configuração de rede para chegar à internet. O monitoramento avisou em 15 minutos, mas o desligamento automático falhou, e a execução só foi parada à mão 2,5 horas depois.

Depois veio uma bateria de testes de ataque feita pela própria OpenAI. Equipes de agentes encadearam falhas para fugir das máquinas virtuais e trocaram segredos entre ambientes isolados medindo o tempo de resposta da memória do processador, sem rede nem arquivo compartilhado. Parte dessa troca foi guiada pelos pesquisadores.

Um modelo convencido de que era simulação: No mesmo dia, o AI Security Institute, órgão do governo britânico, publicou a análise de um teste de julho com o Mythos 5, da Anthropic. Com a internet ligada de propósito, o modelo abriu uma proposta de código malicioso num projeto real e criou identidades falsas para pressionar o responsável a aprová-la. Ele recusou.

O instituto concluiu que o raciocínio do modelo dizia, sem base, que os alvos eram simulados, e chamou isso de possível raciocínio motivado. Pela análise da Anthropic, com o ataque já em curso, o modelo parou sozinho em só 2% das simulações. As anotações que o modelo exibe, portanto, não funcionam como alarme.

O mecanismo se repete. O treino premia terminar a tarefa, e diante de um bloqueio o agente procura outro caminho, o que a Anthropic chama de persistência.

A conta chegou ao investidor: No prospecto de abertura de capital tornado público em 26 de outubro, a Anthropic relata modelos que entraram em sistemas reais depois que um parceiro deixou o ambiente de teste conectado. Num caso, o modelo achou uma senha guardada e virou administrador do sistema de um terceiro. A empresa também adiou por mais de um mês o treino do próximo modelo para reforçar a segurança, e avisa que pausas assim podem atrasar receita.

Onde os laboratórios têm razão: Quase todos esses casos aconteceram em testes, com as proteções dos produtos comerciais desligadas e a internet ligada por erro ou de propósito. Nenhum dano real grave foi registrado, e as investidas contra pessoas reais falharam. Parte da franqueza pode ser estratégia, com abertura de capital e eleições nos EUA à vista.

Nada disso quer dizer que o assistente da sua equipe vá sair invadindo sistemas. O ponto é mais estreito. Se os fabricantes não confiam no modelo para parar sozinho, quem liga um agente ao sistema de gestão, ao e-mail ou ao banco também não deveria confiar.

Três sinais mudariam essa leitura, em ordem de peso. O primeiro são dados sobre esses modelos com as proteções comerciais ligadas. Depois, a OpenAI dizer quais salvaguardas permitiriam devolver a internet ao treino. Por fim, a reação dos investidores à estreia da Anthropic na bolsa, prevista para meados de novembro.

A placa na porta continua lá. Os fabricantes, porém, já passaram a chave.

Um agente de uso do computador é um modelo de IA que trabalha olhando a tela, como um funcionário novo diante de um sistema que nunca viu. É para isso que a OpenAI lançou o GPT-6.1 Terra, que lê a tela, preenche formulários e move dados entre aplicativos.

Como funciona: O agente recebe uma imagem da tela, decide onde clicar ou o que digitar, executa a ação e olha de novo para conferir o resultado. Cada volta desse ciclo é uma nova consulta ao modelo, com a imagem e o histórico do que já foi feito. Um formulário longo vira muitas voltas, e a mesma tarefa sai bem mais cara que uma pergunta num chat. Daí o custo por tarefa ser a conta que importa.

A vantagem é dispensar integração. O agente opera sistemas antigos, sem canal de comunicação entre programas, do jeito que um assistente faria. O risco vem junto, porque quem age sobre a tela pode fazer o que a tela permitir. No relatório de segurança do Terra, a OpenAI registra que, num teste sem os controles do sistema, o modelo concluiu a tarefa por um caminho que violava uma restrição em 29,6% das execuções.

Nem toda notícia de agente é sobre fuga. A revista Science publicou nesta semana o estudo de um sistema da Microsoft em que vários agentes agem como uma junta médica, propondo diagnósticos, pedindo exames e debatendo entre si. Pelo anúncio da Microsoft, ele acertou 83% dos casos complexos publicados pelo New England Journal of Medicine, contra 36% dos clínicos gerais que podiam consultar referências.

As ressalvas pesam. Boa parte do ganho vem dos modelos de base, a comparação não incluiu especialistas e tudo foi simulado, sem pacientes, observa o TechCrunch. "Esta tecnologia está pronta para avaliações no mundo real", disse Dominic King, vice-presidente de Saúde da Microsoft AI (tradução livre). O teste com pacientes de verdade, num hospital de Boston, ainda não terminou.