Novo teste examina se inteligência artificial acerta investimentos

O problema

Investidores profissionais analisam dados, preveem resultados e tomam decisões de risco baseados em evidências do mercado. Até agora, os testes para inteligência artificial avaliavam apenas tarefas isoladas, como responder a perguntas simples sobre documentos ou buscar dados na internet. No entanto, o trabalho real de um analista exige conectar evidências, criar premissas lógicas e formular projeções que resistam ao teste do tempo. Sem um ambiente controlado, os sistemas acabam acessando informações do futuro por engano, o que invalida qualquer teste de previsão financeira.

O que os pesquisadores fizeram

Os autores criaram um banco de testes chamado Exame Final do Investidor (Investor's Last Exam, ou ILE), liderado por gestores de fundos e investidores experientes. O sistema utiliza uma base de dados com mais de três milhões de versões de documentos financeiros e nove categorias de fontes, todas com carimbos rígidos de data e hora. Isso impede que a inteligência artificial consulte relatórios publicados após o momento da decisão, bloqueando o vazamento de informações. Os pesquisadores também desenharam tarefas baseadas no trabalho real de analistas e conectaram os critérios de pontuação a redes de dependência financeira.

O que descobriram

O estudo avaliou diversos modelos de inteligência artificial em dezenas de tarefas complexas de pesquisa e previsão. Sistemas avançados como GPT-6 Astra e Claude Opus 5.5 lideraram as pontuações gerais em qualidade de pesquisa e organização de evidências. Contudo, o desempenho despencou quando o assunto foi criar modelos de previsão e projeções futuras. Os resultados mostraram que saber organizar dados passados não garante o sucesso na hora de prever resultados ou o desempenho real de um investimento.

Por que isso importa

O mercado financeiro utiliza cada vez mais softwares para auxiliar na alocação de capital e na análise de empresas. Saber exatamente onde a inteligência artificial falha ajuda a criar ferramentas mais confiáveis para fundos de investimento e pequenas empresas. O novo método substitui testes superficiais por uma análise detalhada da lógica usada pelo sistema. Assim, fica mais fácil entender se um erro veio de uma conta errada, de uma premissa mal feita ou de uma interpretação incorreta das regras contábeis.

Limites e o que falta

Apesar do rigor na marcação de tempo dos documentos, o trabalho reconhece que a construção de previsões ainda esbarra em limitações na calibração de premissas e na consistência dos modelos. Alguns erros identificados na avaliação surgiram de ambiguidades nos próprios critérios de pontuação criados por especialistas humanos, e não apenas de falhas dos modelos. O estudo foca em tarefas específicas de mercado e precisa ser expandido para cenários econômicos ainda mais amplos e dinâmicos.

Na prática

No futuro, ferramentas baseadas nesses testes poderao ajudar donos de pequenos negocios e gestores a analisar relatorios financeiros, avaliar riscos e simular cenarios economicos com maior rigor. No entanto, os resultados mostram que tais sistemas ainda nao devem ser usados sem supervisao humana para prever o desempenho financeiro de longo prazo.