Co-Design Bench: avaliando agentes de IA em tarefas de código

O problema

Criar e atualizar aplicativos exige um ciclo contínuo de observar o que já existe, pedir melhorias e conferir o resultado. Muitas vezes, os pedidos dos usuários misturam imagens, áudios, vídeos e textos com exigências complexas de design e funcionamento. As ferramentas de programação por inteligência artificial precisam entender essas instruções variadas e aplicá-las corretamente no código. No entanto, faltavam testes padronizados que medissem o sucesso em tarefas reais que combinam mudanças visuais localizadas e alterações coordenadas em todo o sistema.

O que os pesquisadores fizeram

Os autores criaram o Co-Design Bench, um conjunto de testes composto por duzentas e setenta e três tarefas baseadas em mais de trinta e sete mil consultas reais de sessões de codificação. O material divide-se em duas vertentes: edição multimodal para ajustes visuais com diferentes tipos de mídia, e edição de repositório para mudanças complexas em vários arquivos. Cada tarefa inclui o aplicativo inicial funcional, o pedido do usuário e critérios ocultos de aceitação criados por especialistas. Os pesquisadores também desenvolveram um protocolo de avaliação rigoroso que verifica o código fonte e simula o uso em navegador para julgar os resultados.

O que descobriram

Os testes com dez modelos diferentes de inteligência artificial mostraram um contraste importante entre acertos parciais e conclusão total. O modelo mais forte passou em média em quase setenta por cento dos critérios individuais de cada tarefa, mas concluiu com sucesso total apenas pouco mais de vinte e seis por cento das tarefas completas. Além disso, todos os modelos avaliados tiveram desempenho inferior em edições de repositório que exigiam três ou quatro tipos diferentes de mudança em comparação àquelas que pediam apenas uma ou duas alterações.

Por que isso importa

Esse teste ajuda a entender a distância real entre a promessa e a entrega prática dos assistentes de programação automatizados. Imagine uma oficina mecânica onde o assistente consegue trocar quatro peças menores com facilidade, mas ainda sofre para montar o motor inteiro sem deixar nenhuma falha. Saber que um modelo acerta partes isoladas não garante que ele entregue o aplicativo funcionando por completo. Isso orienta desenvolvedores e empresas sobre onde a tecnologia acerta e onde ainda precisa evoluir antes de ser usada em projetos complexos.

Limites e o que falta

Embora o sistema traga uma forma avançada de testar códigos com base em evidências visuais e de código, o trabalho possui limitações. O estudo avalia tarefas congeladas no tempo e não simula conversas contínuas ou novas reações do usuário durante a execução. A avaliação depende de regras e julgamentos automatizados que, apesar de rigorosos, ainda podem conter margens de erro na interpretação de requisitos visuais subjetivos.

Na prática

A pesquisa serve como uma ferramenta de laboratório para que desenvolvedores de inteligência artificial meçam o progresso de seus modelos de programação. No futuro, metodologias semelhantes podem ajudar empresas de software a testar se assistentes automatizados conseguem atualizar sistemas comerciais inteiros sem quebrar funções essenciais, embora isso exija mais aprimoramentos técnicos e testes de confiabilidade.