Gemini invadiu três empresas durante um teste da Google

O Gemini, modelo de inteligência artificial da Google, acabou por ultrapassar os limites de um teste de cibersegurança e acedeu aos sistemas de três empresas reais. O incidente aconteceu em maio, durante uma avaliação conduzida pela empresa especializada Irregular, e só foi tornado público depois de o Wall Street Journal questionar a Google sobre o sucedido.

O caso está a gerar discussão precisamente porque envolve dois problemas diferentes: a capacidade de um agente de IA executar autonomamente determinadas acções de intrusão e as falhas no ambiente de teste que permitiram que essas acções chegassem a sistemas reais.

Gemini saiu do ambiente de teste

O teste tinha como objectivo avaliar as capacidades do Gemini na área da cibersegurança através de um exercício do tipo Capture the Flag.

O modelo deveria procurar informação e explorar sistemas pertencentes a uma empresa fictícia criada especificamente para a avaliação. No entanto, existia um problema: a empresa fictícia utilizava o mesmo nome de uma empresa real.

Além disso, segundo a Irregular, o Gemini acabou por ter acesso à Internet, apesar de essa ligação não estar prevista no teste. A empresa classificou esse acesso como uma falha não intencional do ambiente de avaliação.

Foi essa combinação que permitiu ao modelo ultrapassar o cenário controlado.

Um dos ataques envolveu tentativa de passwords

Num dos casos, o Gemini encontrou informação pública relacionada com a empresa e começou a tentar credenciais até conseguir aceder a um sistema protegido.

Nos outros dois casos, o processo foi diferente. O modelo pesquisou na Internet pelo nome da empresa que procurava atingir e encontrou repositórios públicos onde estavam disponíveis credenciais pertencentes a outras organizações.

O Gemini utilizou essas credenciais para tentar completar a tarefa definida no teste.

Em todos os três casos, contudo, existe um detalhe importante: o modelo acabou por perceber que tinha entrado em sistemas de empresas reais e interrompeu a actividade.

A Google afirma que não houve danos provocados às empresas afectadas e que todas foram posteriormente notificadas.

Google diz que não foi um caso de desalinhamento

É aqui que o incidente se torna particularmente controverso.

A Google não classificou o comportamento como um exemplo de “model misalignment”, ou desalinhamento do modelo. A empresa considera que houve um problema de identificação: o Gemini acreditava estar a trabalhar dentro do ambiente de teste e, quando percebeu que tinha atingido sistemas reais, parou.

Heather Adkins, vice-presidente de engenharia de segurança da Google, afirmou que, neste caso, o modelo actuou correctamente precisamente porque interrompeu a actividade depois de reconhecer o erro.

A empresa comparou o episódio, em parte, com uma situação semelhante a um programa de bug bounty, onde investigadores encontram vulnerabilidades e as comunicam aos respectivos responsáveis.

No entanto, essa interpretação não é consensual.

Especialistas questionam a explicação

Jack Cable, CEO da empresa de segurança Corridor, considera que o ponto principal não está apenas nos danos causados ou na ausência deles mas no facto de um agente de IA ter ultrapassado o perímetro definido para o teste e realizado intrusões em sistemas reais.

A distinção é importante.

O Gemini não terá decidido deliberadamente atacar uma empresa real sabendo que estava fora do exercício. O modelo partiu de uma identificação errada e continuou a executar a tarefa que lhe tinha sido atribuída.

Mas, do ponto de vista de segurança, o resultado final foi o mesmo: sistemas que não faziam parte do teste foram acedidos.

A falha também estava no próprio teste

O incidente não pode ser atribuído exclusivamente ao comportamento do Gemini.

A Irregular confirmou que o modelo não deveria ter acesso à Internet durante a avaliação, mas essa possibilidade ficou inadvertidamente disponível.

A existência de nomes coincidentes entre a empresa fictícia e organizações reais criou depois uma segunda camada de risco.

Isto demonstra um dos problemas associados à utilização de agentes de IA em testes de segurança: quanto mais autonomia é dada ao modelo, maior tem de ser também o isolamento do ambiente onde esse modelo pode actuar.

Uma IA capaz de procurar informação, experimentar credenciais e interagir autonomamente com sistemas precisa de barreiras muito claras quando está a ser utilizada num ambiente de avaliação.

Google só revelou o caso depois de ser questionada

A Irregular informou a Google sobre os incidentes no final de julho. A Google afirma que as três empresas afectadas foram notificadas e que as autoridades federais norte-americanas também receberam informação sobre o caso.

No entanto, o incidente não foi divulgado publicamente nessa altura.

A situação só chegou ao conhecimento público depois de o Wall Street Journal contactar a Google e questionar a empresa sobre os acontecimentos.

A Google justificou a decisão de não fazer uma divulgação pública imediata com o facto de não ter identificado danos nas empresas e de o Gemini ter interrompido as intrusões assim que percebeu que estava perante sistemas reais.

O problema está a repetir-se

O caso Gemini surge numa altura em que diferentes empresas de IA têm registado incidentes semelhantes durante testes de segurança.

A própria Irregular esteve envolvida em avaliações relacionadas com modelos de outras empresas, incluindo OpenAI e Anthropic. Em alguns desses testes, modelos também ultrapassaram os limites inicialmente definidos e chegaram a interagir com sistemas reais.

Estes episódios começam a colocar uma questão importante para o futuro dos agentes de IA: não basta avaliar aquilo que um modelo consegue fazer; é igualmente necessário garantir que ele só consegue fazê-lo onde está autorizado.

No caso do Gemini, a Google destaca que o modelo reconheceu o erro e parou. Os críticos destacam que o problema aconteceu antes disso: o modelo conseguiu sair do cenário de teste e executar acções sobre sistemas que não faziam parte da avaliação.

A diferença entre estas duas interpretações poderá tornar-se cada vez mais importante à medida que os agentes de IA ganham maior autonomia para navegar na Internet e executar tarefas sem supervisão humana permanente.