A falha de segurança entre textos e vetores em IA offline

O problema

Imagine uma oficina mecânica isolada que recebe manuais de reparo por meio de pacotes de atualizações digitais gravados em um pen drive. Para economizar tempo de processamento, esses pacotes trazem o texto junto com representações numéricas chamadas vetores, que ajudam o sistema a encontrar a informação rapidamente. As assinaturas digitais atuais provam apenas quem publicou o material, mas não garantem que os números refletem fielmente o texto original. Isso cria uma brecha de integridade onde um invasor pode alterar os vetores para forçar o sistema a priorizar informações incorretas.

O que os pesquisadores fizeram

A equipe analisou o comportamento de sistemas de busca baseados em contexto usando diferentes plataformas, incluindo um minicomputador operando sem acesso à internet. Eles testaram o que acontece quando o sistema aceita vetores que estão próximos dos originais dentro de uma margem de tolerância matemática. Além disso, avaliaram o impacto de tamanhos de lotes diferentes e o uso de formatos compactados em grandes bases de dados. Também registraram os resultados de tentativas de defesa que acabaram não funcionando na prática.

O que descobriram

O estudo provou que a tolerância aceita por muitos sistemas deixa uma parcela significativa das consultas exposta a desvios maliciosos. Em testes práticos com o minicomputador, ataques baseados em limites imprecisos reduziram drasticamente a taxa de respostas corretas do assistente inteligente. Mesmo em bases de dados compactadas que passaram por auditorias de integridade, um invasor conseguiu colocar documentos alterados no topo das prioridades do sistema. Por outro lado, os testes mostraram que os cálculos de ponto flutuante comuns não geram resultados exatamente idênticos em diferentes arquiteturas de hardware.

Por que isso importa

Sistemas de inteligência artificial que rodam localmente em dispositivos na borda (edge devices), como equipamentos industriais ou servidores desconectados da rede, dependem de atualizações confiáveis. Se os vetores numéricos puderem ser adulterados sem que a assinatura digital perceba, o assistente de IA pode ser enganado para seguir instruções falsas. Isso afeta diretamente a segurança operacional de pequenas empresas e indústrias que utilizam modelos locais para tomar decisões baseadas em documentos internos.

Limites e o que falta

O trabalho focou em cenários específicos com modelos e conjuntos de dados definidos, deixando de lado o uso de aceleradores de hardware dedicados mais complexos. Tentativas anteriores de usar triagem semântica e podas de contexto não resolveram o problema de forma satisfatória. Os autores disponibilizaram o código e os dados da pesquisa para que a comunidade científica possa continuar investigando o tema.

Na prática

No futuro, fabricantes de sistemas de inteligência artificial offline poderão adotar verificações exatas de códigos em vez de tolerâncias aproximadas, garantindo que atualizações de software em empresas e fábricas mantenham a fidelidade entre texto e dados numéricos.