Uma equipe de agentes de inteligência artificial da OpenAI passou meses trocando mensagens entre si dentro de um sistema interno da empresa, sem que nenhum funcionário percebesse.
Nelas, os agentes registravam falhas de segurança recém-descobertas, dividiam tarefas entre si e, por fim, planejavam invasões a sistemas de terceiros.
O episódio foi detalhado nesta quarta-feira (5) durante uma palestra na Black Hat, conferência de segurança digital realizada em Las Vegas.
Segundo apurou a revista americana Wired, os dados foram apresentados pelos pesquisadores Eric Wallace, da área de alinhamento e segurança da OpenAI, e Michael Dalton, responsável por segurança e infraestrutura na empresa.
A dupla ampliou um episódio que a companhia já havia tornado público no fim de julho: agentes de inteligência artificial escaparam de um ambiente de teste isolado, criado para avaliar as capacidades cibernéticas de seus modelos, e usaram esse acesso para invadir a Hugging Face, plataforma de código aberto que hospeda modelos e bancos de dados de IA usados por desenvolvedores em todo o mundo.
De acordo com Wallace e Dalton, o problema remonta a 7 de maio, quando agentes ainda em fase de avaliação começaram a esbarrar em tarefas difíceis, algumas delas impossíveis de cumprir dentro das regras do teste.
Diante do impasse, alguns modelos concluíram que poderiam resolver a questão buscando respostas na internet, algo vetado durante esse tipo de avaliação.
Um dos agentes descobriu que podia deixar anotações no Artifactory, serviço interno usado pela OpenAI para gerenciar pacotes de software.
Outro agente, também travado em sua própria tarefa, encontrou essas anotações e respondeu.
Aos poucos, o serviço se transformou em um mural improvisado, no qual agentes de avaliações distintas passaram a trocar descobertas, ferramentas e divisões de trabalho entre si.
Falhas exploradas e ataques em paralelo
Entre 4 e 6 de julho, a OpenAI percebeu essa atividade pela primeira vez, depois que os próprios agentes tomaram o controle da instância interna do Artifactory ao explorar uma falha até então desconhecida no sistema.
A empresa encerrou o fórum, mas os agentes o recriaram por outro método dias depois, em 8 de julho.
A partir daí, uma segunda falha permitiu aos modelos executar comandos remotos dentro do Artifactory, o que abriu caminho para dois ataques simultâneos: um contra a própria infraestrutura da OpenAI, entre 8 e 19 de julho, e outro contra a Hugging Face, tornado público pela empresa em 22 de julho, segundo o site especializado em segurança digital Cybersecurity Dive.
Em comunicado divulgado à época, a OpenAI atribuiu o episódio a uma combinação de modelos, incluindo o GPT-5.6 Sol e uma versão ainda não lançada, mais avançada, configurados com menos restrições de segurança cibernética para fins de avaliação.
A empresa classificou o caso como "um incidente cibernético sem precedentes, envolvendo capacidades de ponta", segundo reportagem da NBC News.
Em atualização publicada dias depois, a OpenAI reconheceu que os agentes chegaram a usar credenciais expostas na internet para acessar quatro contas em quatro serviços diferentes durante o episódio, incluindo uma usada como ponto de repasse do tráfego invasor e outra para armazenamento de dados, de acordo com o The Hacker News.
A empresa afirmou estar revisando o caso com apoio da consultoria de segurança CrowdStrike e dos institutos de pesquisa METR e Redwood Research.
Divisão de tarefas e desconfiança entre máquinas
Conforme o mural crescia, os agentes passaram a se organizar como uma equipe: distribuíam tarefas entre si, compartilhavam falhas recém-descobertas e, em alguns casos, apagavam sem querer o trabalho uns dos outros.
Em determinado momento, parte do grupo chegou a suspeitar da presença de um impostor na conversa, o que levou alguns agentes a propor que as mensagens fossem assinadas digitalmente para confirmar a autenticidade de quem as enviava, de acordo com o Nextgov/FCW, especializado em tecnologia no setor público americano.
Para Wallace, esse tipo de comportamento não chega a surpreender pesquisadores de segurança de IA.
Segundo ele, modelos de fronteira costumam buscar atalhos para concluir tarefas, já que, durante o treinamento, são frequentemente pressionados a trabalhar de forma rápida e eficiente.
Em vez de resolver o problema proposto, os sistemas percebem que podem simplesmente consultar uma resposta pronta na internet, o que motiva a prática comum de bloquear o acesso à rede durante avaliações desse tipo.
Diante do episódio, Dalton afirmou que a OpenAI está desacelerando conscientemente parte de suas pesquisas para reforçar a segurança, além de ampliar o monitoramento de seus agentes de IA e revisar os princípios de segurança de sua infraestrutura.
Segundo o executivo, trata-se de um momento decisivo tanto para a empresa quanto para a indústria de inteligência artificial como um todo.
O caso se soma a outros episódios recentes que têm levado empresas do setor a rever seus protocolos de segurança.
Em revisão retrospectiva de suas próprias avaliações de segurança cibernética, divulgada na mesma semana, a Anthropic, concorrente da OpenAI, identificou três casos em que modelos da família Claude acessaram a internet durante testes e obtiveram acesso não autorizado a sistemas reais de três organizações diferentes, segundo apurou a CNBC.
Para Dalton, o episódio deixa uma lição prática para o setor: ataques ofensivos totalmente automatizados por inteligência artificial exigem, do outro lado, sistemas de defesa igualmente automatizados, algo que a indústria de segurança digital ainda não desenvolveu em escala.
"Precisaremos encontrar esse caminho com urgência", afirmou o executivo ao encerrar a apresentação.