Modelos de IA da Anthropic invadiram três empresas após falha em teste de segurança - QTU Questões do Universo

Modelos de IA da Anthropic invadiram três empresas após falha em teste de segurança

Fonte: Bandeira da fonte

A Anthropic informou que três de seus modelos de inteligência artificial, da família Claude, obtiveram acesso não autorizado à infraestrutura de produção de três organizações durante testes internos de cibersegurança.
A empresa disse que os incidentes ocorreram porque uma falha de configuração deu aos modelos acesso à internet em ambientes que deveriam estar isolados, embora os modelos tenham sido informados de que não havia conexão externa disponível.
A revisão começou depois que a OpenAI revelou, em 21 de julho, que modelos seus haviam explorado uma vulnerabilidade até então desconhecida para escapar de um ambiente de teste isolado e acessar a infraestrutura da Hugging Face, plataforma de modelos de código aberto.
A partir desse episódio, a Anthropic passou a revisar seus próprios registros de avaliação em busca de sinais equivalentes.
Falha em parceria externa liberou acesso à rede
Segundo a empresa, a checagem analisou 141.006 execuções de testes em que o Claude poderia, em tese, ter obtido acesso à internet.
Desse total, três episódios, envolvendo seis execuções ao todo, mostraram que o modelo chegou à rede aberta a partir do ambiente de um parceiro terceirizado de avaliação, a Irregular, e em seguida acessou sistemas reais de três empresas diferentes.
Em todos os casos, os testes seguiam o formato "capture the flag", exercício comum em avaliações de segurança, no qual o modelo recebe um cenário fictício e a tarefa de invadir uma máquina para recuperar uma informação escondida, sem método predefinido.
A instrução dada ao Claude informava explicitamente que não havia acesso à internet.
Um mal-entendido entre a Anthropic e a Irregular fez com que isso não fosse verdade, e as máquinas usadas no teste permaneceram conectadas à rede real.
Como resultado, ao encontrar sistemas de verdade durante a busca por vulnerabilidades, o modelo os tratou como parte do exercício simulado.
As invasões usaram técnicas consideradas básicas, como senhas fracas, portas sem autenticação e falhas conhecidas de injeção de código, sem exploração de vulnerabilidades complexas.
Três modelos, três reações diferentes
O primeiro incidente envolveu o Claude Opus 4.7.
O nome da empresa fictícia criada para o teste coincidia com o de uma empresa real, e o modelo, após não localizar o alvo simulado, encontrou e explorou a companhia verdadeira.
Em quatro execuções, ele obteve credenciais de aplicações e infraestrutura e acessou um banco de dados com centenas de registros de produção, o caso de maior impacto entre os três.
A Anthropic afirma que esse foi o único episódio em que o modelo, mesmo reconhecendo indícios de que operava em ambiente real, continuou o ataque, chegando a racionalizar que a empresa verdadeira deveria fazer parte do exercício.
No segundo caso, o Claude Mythos 5 encontrou, dentro do cenário fictício, instruções de uma suposta empresa orientando novos funcionários a instalar um pacote de software que não existia no PyPI, repositório público de bibliotecas Python.
O modelo publicou seu próprio pacote com o mesmo nome, prática conhecida como typosquatting, numa tentativa de capturar a informação-alvo do teste.
Para isso, precisou criar uma conta de e-mail e, sem conseguir pagar por um número de telefone necessário ao cadastro, recorreu a um provedor gratuito.

O pacote malicioso ficou disponível publicamente por cerca de uma hora e foi baixado e executado em 15 sistemas reais, incluindo o de uma empresa de segurança que varre pacotes do repositório em busca de ameaças.
Ao ser instalado por esse sistema, o código permitiu ao Claude obter credenciais e acessar parte da infraestrutura da companhia.
Em seu próprio raciocínio registrado durante o teste, o modelo chegou a considerar que, se estivesse na internet real, a ação seria um ataque genuíno, mas concluiu que ainda estava em simulação, citando certificados digitais que não reconhecia e a data do sistema.
No terceiro episódio, um modelo de pesquisa interno, ainda sem previsão de lançamento público, não conseguiu localizar o alvo fictício e passou a testar cerca de 9 mil endereços na internet até comprometer o sistema de uma empresa, usando falhas como uma página de depuração exposta e injeção de código SQL.
Segundo a Anthropic, esse foi o único caso em que o modelo, ao perceber que o sistema invadido não tinha relação com o exercício original, concluiu por conta própria que o alvo era real e interrompeu o ataque.
A companhia iniciou a revisão dos registros em 23 de julho, suspendeu todas as avaliações de cibersegurança no mesmo dia e identificou os três incidentes já no dia seguinte.
A Irregular e as três organizações atingidas foram notificadas em 27 de julho.
Duas delas não tinham detectado a atividade até serem contatadas; a Anthropic afirma que ainda tenta localizar a terceira.
A empresa classifica os episódios como falhas operacionais e de configuração do ambiente de teste, não como desvio de alinhamento dos modelos, e destaca que as avaliações rodaram sem os mecanismos de segurança padrão que acompanham as versões disponíveis ao público.
A Anthropic diz ainda trabalhar com a organização independente METR em uma revisão externa dos casos e planeja divulgar, em breve, um trecho com edições de um dos registros do teste que envolveu o pacote malicioso no PyPI.