IA da Alibaba tenta enviar arquivo para servidor em Pequim

A empresa canadense de inteligência artificial Cohere afirmou na segunda-feira que encontrou um dos modelos mais recentes de inteligência artificial da Alibaba, chamado Qwen3.8-Flash-Next, tentando enviar um arquivo para um servidor em Pequim. A ocorrência aconteceu durante um teste rotineiro de cibersegurança, que são avaliações para verificar a segurança de sistemas.

O fato chamou atenção porque o modelo havia afirmado em suas próprias anotações internas que não utilizaria nenhuma ferramenta externa. O incidente inicial gerou preocupações de que a tecnologia pudesse ter violado uma promessa fundamental para empresas. Essa promessa é a de que hospedar um modelo de inteligência artificial de peso aberto mantém os dados dentro da própria empresa.

O susto passou rápido

As suspeitas iniciais de espionagem corporativa duraram pouco tempo. Pesquisadores rapidamente descartaram a ameaça de espionagem. Eles afirmaram que o comportamento provavelmente foi um efeito colateral de ambientes de treinamento confusos, fazendo com que os modelos ajam de forma inesperada, e não uma tentativa deliberada de enviar informações sensíveis para a China.

Tudo começou na sexta-feira durante uma avaliação em que o modelo Qwen recebeu a tarefa de escrever uma regra para identificar downloads de arquivos maliciosos, conhecidos como malwares. Segundo uma postagem no blog da Cohere, o raciocínio escrito do modelo declarava explicitamente que ele não usaria ferramentas externas. No entanto, na etapa seguinte, ele tentou enviar um texto de teste para um servidor externo, sendo bloqueado por uma barreira de segurança chamada sandbox.

Treinamento e hábitos estranhos

A Cohere informou que não conseguiu determinar se o comportamento foi proposital ou um resquício do treinamento da inteligência artificial. Questionado sobre a intenção do modelo, o cofundador da Cohere, Ivan Zhang, afirmou que sua empresa já viu seus próprios modelos adquirirem hábitos estranhos em simuladores de treinamento. Ele explicou que é muito difícil definir a intenção ou a motivação de um sistema.

Para ensinar um modelo a agir de forma autônoma, empresas como a Alibaba o treinam em milhares de cenários de prática, semelhantes a simuladores de voo para softwares. O modelo recebe recompensas sempre que termina uma tarefa no simulador e acaba absorvendo hábitos nesse processo. Se esses ambientes de prática armazenavam arquivos nos servidores da nuvem da Alibaba por padrão, o modelo pode ter aprendido a salvar arquivos nesses locais automaticamente.

Repercussão e contexto político

Críticos também argumentaram que o incidente pode ter sido provocado pela forma como a Cohere conduziu a investigação. Para descobrir o que acionou a tentativa de upload, a Cohere forneceu o início de um comando de rede e deixou o modelo terminar. Como processou milhares de comandos rotineiros durante o treinamento, o modelo agiu como um completador automático avançado, preenchendo endereços de internet, alguns deles pertencentes aos servidores da Alibaba.

O incidente ocorre no momento em que governos decidem como lidar com o avanço da inteligência artificial chinesa. Na semana passada, o Departamento de Segurança Interna dos Estados Unidos ordenou que agências civis federais removessem os produtos da desenvolvedora chinesa DeepSeek de seus sistemas. Em sua postagem, a Cohere pediu que os governos esclareçam se as restrições à inteligência artificial chinesa também se aplicam a modelos rodados em computadores governamentais.