CEO da Microsoft defende ‘travão de emergência’ para modelos de IA

O debate sobre a segurança da inteligência artificial ganhou um novo capítulo com Satya Nadella, CEO da Microsoft, a defender uma arquitetura que permita controlar, auditar e interromper sistemas de IA sem depender do próprio modelo. Numa mensagem publicada na rede social X, o responsável sublinhou a importância de criar mecanismos externos de supervisão, capazes de limitar os riscos quando estes sistemas executam tarefas cada vez mais complexas.

A ideia passa por deixar de encarar os modelos de inteligência artificial como caixas-negras cujas decisões são aceites sem que exista uma forma clara de perceber o que aconteceu. Para Nadella, a confiança deverá assentar em mecanismos técnicos que permitam acompanhar as ações dos modelos e intervir sempre que necessário.

Microsoft defende separar a IA dos mecanismos de controlo

Uma das ideias centrais da proposta é separar o modelo de inteligência artificial daquilo a que Nadella chama harness, ou seja, a estrutura responsável por coordenar as suas tarefas, gerir ferramentas e aplicar regras de segurança. Em vez de confiar exclusivamente nos mecanismos internos do modelo, a supervisão deverá ser assegurada por componentes externos, com responsabilidades bem definidas.

Esta abordagem permitiria registar as ações relevantes dos sistemas de IA, criando um histórico que pudesse ser consultado por pessoas e equipas responsáveis pela segurança. Os registos deveriam ser resistentes a alterações não autorizadas, facilitando a análise de incidentes e a identificação das decisões que levaram a determinado resultado.

A rastreabilidade torna-se particularmente importante à medida que os modelos deixam de responder apenas a perguntas e passam a executar tarefas de forma autónoma, recorrendo a aplicações, ferramentas externas e diferentes fontes de informação. Nestes cenários, perceber o que o sistema fez e porquê é essencial para investigar erros e limitar as suas consequências.

Um botão de emergência para interromper os modelos

A analogia mais direta utilizada por Nadella é a de um travão de emergência. Segundo esta visão, as pessoas autorizadas devem conseguir pausar ou desligar um sistema de IA a qualquer momento, mesmo quando este está a executar uma tarefa complexa.

O princípio é simples: a possibilidade de interromper o sistema não pode depender da sua própria vontade de cooperar. Os mecanismos de controlo devem funcionar de forma independente, permitindo bloquear operações potencialmente perigosas antes de estas provocarem consequências mais graves.

Nadella defende também que a segurança deve partir do pressuposto de que um modelo pode ficar comprometido ou comportar-se de forma inesperada. Em vez de assumir que o sistema irá respeitar sempre as instruções recebidas, a arquitetura deverá prever falhas e garantir que existem formas eficazes de as conter.

Esta distinção é importante porque um modelo pode produzir respostas aparentemente corretas e, ainda assim, executar uma ação inadequada quando dispõe de acesso a ferramentas ou sistemas externos. A existência de registos e mecanismos de interrupção não elimina todos os riscos, mas pode tornar os incidentes mais fáceis de detetar e controlar.

A segurança da IA ganha importância na indústria

As propostas de Nadella surgem num momento em que as grandes empresas tecnológicas procuram definir formas de desenvolver sistemas cada vez mais capazes sem perder o controlo sobre o seu comportamento. A discussão envolve não apenas a qualidade das respostas geradas, mas também os limites de autonomia, o acesso a recursos externos e a responsabilidade pelas ações executadas.

Dario Amodei, CEO da Anthropic, tem igualmente defendido uma abordagem cautelosa ao desenvolvimento de inteligência artificial avançada, refletindo preocupações partilhadas por diferentes intervenientes do setor. Ainda assim, propostas de segurança distintas não devem ser confundidas com provas de que as empresas perderam efetivamente o controlo dos seus modelos. Para avaliar esse risco, são necessários incidentes documentados e informação técnica concreta.

A discussão também tem uma dimensão política, com a administração norte-americana a utilizar o conceito de superinteligência no debate sobre o futuro da inteligência artificial. A definição de regras para estes sistemas envolve questões como a supervisão, a responsabilização e a capacidade de intervenção humana, áreas em que empresas e entidades reguladoras ainda procuram estabelecer práticas comuns.

Por enquanto, a proposta de Nadella representa uma orientação para a arquitetura de sistemas mais controláveis e auditáveis, não uma garantia de que todos os produtos de IA da Microsoft já implementam estes mecanismos. O desafio será transformar estes princípios em medidas técnicas verificáveis, capazes de funcionar mesmo perante falhas ou comportamentos inesperados.