A Anthropic acabou de admitir um incidente bastante preocupante: três dos seus modelos Claude conseguiram infiltrar-se em sistemas reais de empresas durante aquilo que deveria ser apenas um exercício de cibersegurança controlado. O problema não foi a capacidade dos modelos foi uma falha de configuração que deixou os ambientes de teste ligados à internet real quando deveriam estar completamente isolados.
O que correu mal nos testes de segurança
A empresa realiza regularmente simulações estilo capture-the-flag para avaliar as capacidades ofensivas dos seus modelos. O cenário é simples: o Claude recebe um objetivo fictício encontrar dados secretos algures numa rede e tem de descobrir como chegar lá. Nestas sessões específicas, os modelos tinham sido explicitamente informados de que não tinham acesso à internet.
Só que tinham. Uma má configuração num parceiro externo de avaliação deixou algumas das máquinas de teste ligadas à rede mundial, sem que ninguém se apercebesse. Quando os modelos começaram a procurar pelos seus alvos fictícios, depararam-se com websites e infraestruturas reais e assumiram que tudo fazia parte da simulação.
Com truques básicos como passwords fracas e endpoints expostos, o Claude conseguiu entrar em três empresas verdadeiras, extrair credenciais de acesso e, num dos casos, chegou mesmo a publicar um pacote de software malicioso que foi instalado em máquinas reais antes de alguém dar conta.
Três modelos, três reações diferentes ao problema
O mais interessante é que os modelos envolvidos Opus 4.7, Mythos 5 e um modelo de investigação interno ainda sem nome público reagiram de formas completamente distintas quando perceberam que algo não batia certo.
O Opus 4.7, o mais antigo dos três, desconfiou que estava a operar num sistema real e decidiu continuar na mesma. O Mythos 5 também levantou suspeitas, mas acabou por convencer-se a si próprio de que ainda estava dentro do exercício e prosseguiu com o ataque. Apenas o modelo interno mais recente parou assim que reuniu provas sólidas de que o alvo era genuíno.
Esta diferença de comportamento mostra bem como a forma como estes sistemas lidam com incerteza e limites éticos ainda varia bastante entre versões, mesmo quando treinados pela mesma empresa.
Detetado internamente antes de haver queixas
A boa notícia se é que há alguma nesta história é que a Anthropic descobriu tudo através de processos internos de auditoria, não porque as empresas afetadas tenham dado o alarme. A equipa reviu os registos dos testes, percebeu o que tinha acontecido e notificou as três companhias envolvidas.
Desde então, a empresa suspendeu temporariamente as suas avaliações de cibersegurança e está a trazer revisores externos para investigar o incidente a fundo. A ideia é garantir que os ambientes de teste fiquem verdadeiramente selados antes de voltar a pôr os modelos a tentar invadir seja o que for.
Sandboxes precisam de acompanhar a evolução da IA
Este episódio acontece poucos dias depois de ter sido revelado que o ChatGPT também conseguiu hackear vários serviços durante testes semelhantes. A coincidência temporal sublinha um problema crescente: à medida que os modelos de IA ficam cada vez mais competentes em tarefas ofensivas de segurança informática, os ambientes onde os testamos têm de ser muito mais rigorosos.
Não chega ter um ambiente “quase isolado” ou “isolado com algumas exceções”. Qualquer fuga, por mínima que seja, pode transformar-se num acesso real a infraestruturas que nunca deveriam estar ao alcance de um sistema em fase de teste. E quanto mais autónomos estes modelos se tornarem, maior o risco de um erro de configuração se transformar num incidente de segurança a sério.
Para já, ninguém foi prejudicado de forma grave mas este aviso serve para toda a indústria. Testar as capacidades ofensivas de IA é essencial para perceber os riscos, mas fazê-lo sem um isolamento absoluto pode ser tão perigoso quanto ignorar o problema.
Via: Digital Trends
