AV-FABLE: Detecção de Manipulações em Vídeos Longos

O problema

Vídeos modificados por inteligência artificial (inteligência artificial) muitas vezes alteram apenas pequenos trechos dentro de um conteúdo original. Ferramentas antigas costumam analisar o vídeo inteiro de uma vez, o que dificulta encontrar onde a adulteração aconteceu. Além disso, a maioria das pesquisas anteriores foca apenas em clipes curtos de pessoas falando, ignorando cenas abertas e edições separadas de áudio e imagem.

O que os pesquisadores fizeram

Os autores criaram um conjunto de dados chamado AV-FABLE, com quase mil horas de vídeos longos e suas versões originais. Eles aplicaram dezenas de configurações diferentes de edição para alterar sons, ações e objetos em momentos específicos. Em seguida, testaram modelos de linguagem grandes que combinam áudio e vídeo (AV-LLMs, do inglês audio-visual large language models) e perceberam que as respostas diretas por texto falhavam na tarefa.

O que descobriram

Os pesquisadores descobriram que os modelos grandes armazenam pistas importantes sobre as adulterações em suas camadas internas, mas não conseguem expor isso claramente por meio de texto. Com base nisso, desenvolveram uma nova técnica chamada NFSR (do inglês Native Forensics via Separated Readouts). Essa abordagem lê diretamente as características visuais e sonoras congeladas do modelo usando decodificadores separados para cada tipo de mídia.

Por que isso importa

Identificar fraudes em mídias exige saber exatamente qual parte do vídeo foi alterada e em qual canal, seja no som ou na imagem. Como edições podem acontecer em apenas um dos sentidos ou em momentos diferentes, analisar tudo junto gera erros. O novo método garante maior precisão na localização temporal das adulterações, superando abordagens anteriores.

Limites e o que falta

Apesar do avanço na detecção e localização, a capacidade de explicar detalhadamente a natureza da adulteração ainda apresenta falhas. Os sistemas atuais conseguem apontar o intervalo da edição, mas frequentemente erram ao classificar o tipo exato de operação realizada. Há espaço para melhorias na geração automática de explicações textuais sobre as fraudes encontradas.

Na prática

No futuro, essa tecnologia poderá ser integrada a ferramentas de verificação de fatos, plataformas de redes sociais e sistemas de auditoria de mídia para ajudar a identificar vídeos adulterados em investigações ou checagens jornalísticas.