ControlAnything: IA cria controles de realidade mista na hora

O problema

Imagine que você tem uma oficina cheia de ferramentas diferentes, como uma furadeira nova e uma serra elétrica antiga. Para ligar essas máquinas ao seu computador ou óculos inteligentes, alguém precisa programar a conexão com muita antecedência. Esse trabalho manual exige conhecer os detalhes técnicos de cada aparelho, o que é lento e inviável para milhares de utensílios cotidianos. Na realidade mista, onde o usuário enxerga elementos virtuais misturados ao mundo real, essa barreira fica ainda maior. Criar um controle novo para cada objeto exige código específico antes mesmo de o usuário começar a trabalhar.

O que os pesquisadores fizeram

Os pesquisadores criaram o sistema ControlAnything para resolver essa falha em óculos Meta Quest 3. Quando o usuário aponta para um objeto real e diz o que deseja controlar, a inteligência artificial assume o trabalho pesado. Um modelo de IA avançado escreve um pequeno programa chamado conector no computador do usuário. Esse software traduz os gestos das mãos em comandos que o aparelho físico entende. Depois de escrever o código, o sistema testa a conexão automaticamente antes de liberar a interface visual na tela.

O que descobriram

Em um teste prático com dez solicitações diferentes usando cinco aparelhos variados, nove comandos chegaram com sucesso ao estado pronto. O tempo médio para a inteligência artificial preparar tudo foi de cerca de trinta e dois segundos. A maior parte desse tempo foi gasta nas chamadas sequenciais para os modelos de inteligência artificial. O sistema conseguiu conectar desde sintetizadores musicais até suportes de câmera por Bluetooth. No entanto, os pesquisadores ressaltam que o sucesso foi medido pelas respostas técnicas dos aparelhos, e não pela confirmação visual de que o equipamento físico obedeceu perfeitamente.

Por que isso importa

Essa tecnologia muda a forma como controlamos o ambiente ao nosso redor em ambientes virtuais. Hoje, donos de pequenos negócios ou oficinas dependem de desenvolvedores para criar aplicativos que integrem máquinas novas. Com um sistema sob demanda, qualquer pessoa poderá apontar para um equipamento e criar botões virtuais na hora. Isso elimina a necessidade de programadores especializados para cada nova integração. É como ter um técnico de plantão dentro dos óculos, pronto para construir pontes digitais para qualquer aparelho que você apontar.

Limites e o que falta

O estudo atual foi testado apenas pelo próprio autor em uma única sessão controlada, faltando avaliar o uso por pessoas comuns. Além disso, o programa gerado pela inteligência artificial roda no computador sem barreiras de segurança completas, o que exige cuidado redobrado. O sistema também depende de comandos que já possuam alguma documentação básica sobre como o aparelho se comunica. Testes futuros precisarão incluir novos usuários e garantir que os óculos consigam observar os efeitos físicos reais dos aparelhos.

Na prática

No futuro, essa tecnologia poderá ser usada por profissionais em oficinas, estúdios ou pequenas fábricas para controlar máquinas e computadores usando apenas gestos no ar, sem precisar de instalações demoradas. Um marceneiro poderá apontar para uma lixadeira inteligente e gerar controles flutuantes na hora. No entanto, a ferramenta ainda está em fase de pesquisa científica e precisa de testes de segurança e usabilidade antes de chegar ao mercado comercial.