Por Dentro do ChatGPT: Como Funcionam os Modelos de Linguagem

A jornada de criação de um modelo de linguagem e o pré-treinamento

O pesquisador Andrej Karpathy explica que construir inteligência artificial generativa parece mágica para quem observa de fora. No entanto, a tecnologia possui limites e bordas bem definidas. Ferramentas como o ChatGPT nascem de um processo longo e estruturado, conhecido como pipeline. O objetivo desta análise é abrir o capô e mostrar exatamente como esses sistemas são construídos desde a base.

A primeira grande etapa desse processo é o pré-treinamento (pretraining). É aqui que o modelo aprende a gramática, os fatos sobre o mundo e a estrutura da linguagem. Para isso, os desenvolvedores precisam coletar um volume gigantesco de textos disponíveis na internet pública. Imagine uma enorme biblioteca digital que acumula tudo o que é publicado online ao longo dos anos.

A principal fonte para essa coleta é o Common Crawl, um repositório aberto e sem fins lucrativos que rastreia continuamente a web desde 2007. Como a internet contém muita informação irrepetível, repetida ou inadequada, os dados brutos passam por filtros rigorosos. Os engenheiros aplicam listas de bloqueio para remover conteúdos nocivos ou adultos, extraem apenas o texto limpo de códigos de programação complexos e filtram o idioma.

O idioma predominante nos dados define a competência futura da inteligência artificial. Se um conjunto de dados prioriza uma porcentagem muito alta de inglês, o modelo resultante terá um desempenho fraco em outras línguas. Após a filtragem agressiva e a remoção de duplicatas, datasets modernos como o FineWeb, criado pela Hugging Face, ocupam cerca de 44 terabytes. Esse volume massivo equivale a aproximadamente 15 trilhões de tokens e cabe confortavelmente em poucos discos rígidos comerciais de alta capacidade.

Transformando letras em números por meio da tokenização

As redes neurais artificiais não entendem letras, palavras ou frases da mesma forma que os humanos. Elas exigem uma sequência unidimensional de números inteiros para processar qualquer informação. Esse processo de conversão chama-se tokenização e utiliza pequenas unidades chamadas de tokens. Pense nos tokens como as peças fundamentais de um jogo de montar, que podem ser sílabas, pedaços de palavras ou pontuações.

Se o computador tentasse ler o texto original usando apenas a codificação binária padrão ou bytes isolados, as sequências numéricas seriam longas demais. Isso esmagaria o limite de memória que a rede consegue processar de uma só vez. Para resolver esse problema, os cientistas usam o algoritmo Byte Pair Encoding (BPE), que funciona como uma ferramenta de compactação de arquivos.

O algoritmo analisa todo o texto coletado e identifica quais pares de caracteres aparecem juntos com mais frequência. Ele funde iterativamente esses pares para criar novos símbolos únicos, expandindo o vocabulário e encurtando o comprimento total das sequências. Modelos modernos, como o GPT-4, utilizam vocabulários compostos por cerca de 100.277 tokens únicos.

Ferramentas visuais interativas, como o Tiktokenizer, ajudam a entender essa lógica na prática ao mostrar como uma frase comum é fatiada em centenas de pedaços numéricos. Cada pedaço recebe um número de identificação fixo. É essa lista de números que entra na rede neural para ser processada nos próximos passos.

Como a rede neural aprende a prever o próximo token

Com os dados limpos e convertidos em números, o sistema passa para o treinamento da rede neural. O modelo recebe uma janela de contexto, que é o número máximo de tokens anteriores que ele consegue examinar de uma só vez. O GPT-2 utilizava janelas de 1.024 tokens, enquanto modelos modernos processam milhares deles simultaneamente. O trabalho principal da rede é simples de descrever, mas complexo de executar: prever qual será o próximo token da sequência.

No início do treinamento, a rede neural possui pesos totalmente aleatórios e faz previsões sem sentido. Pense nos parâmetros da rede como os botões de uma mesa de som de DJ. Ao girar e ajustar esses botões, você altera todas as previsões para qualquer texto de entrada. O aprendizado acontece quando o sistema compara sua própria previsão com o texto real que aparecia na internet.

Para medir esse erro, os pesquisadores utilizam uma métrica chamada loss (função de perda). A perda é um número único que quantifica o erro da rede ao tentar adivinhar o futuro da frase. O objetivo central de todo o treinamento é ajustar os parâmetros matemáticos para que essa perda diminua continuamente a cada passo, aproximando as previsões estatísticas da realidade dos dados.

Internamente, o coração dessa arquitetura é o Transformer, uma expressão matemática gigantesca baseada em multiplicações de matrizes, camadas de atenção e ativações. O Transformer processa dependências entre palavras em paralelo, sem precisar de memória de longo prazo ou estado interno entre passagens diferentes. Ele apenas calcula relações estatísticas complexas em alta velocidade.

A inferência e a reprodução histórica do GPT-2 na nuvem

Depois que o treinamento termina, os pesos da rede neural ficam totalmente congelados. A fase seguinte é a inferência (inference), que acontece todas as vezes que um usuário interage com um assistente de inteligência artificial. Durante a conversa, não há mais aprendizado ou modificação de parâmetros ocorrendo em segundo plano. O sistema apenas lê o texto digitado e gera respostas aplicando o conhecimento congelado.

Na prática, o modelo opera de forma autorregressiva, ou seja, ele gera uma distribuição de probabilidades para todo o vocabulário e sorteia o próximo token. Esse token escolhido é devolvido para a entrada, e o processo se repete até formar a resposta completa. É por isso que as gerações nunca são cópias exatas do conjunto de treino, mas sim recombinações estocásticas baseadas em estatística.

Para demonstrar o poder dessa tecnologia, Andrej Karpathy reproduziu o treinamento do GPT-2, um modelo com 1,6 bilhão de parâmetros, usando seu próprio projeto de código aberto chamado llm.c. Ele executou o processo em uma máquina equipada com oito unidades de processamento gráfico de alto desempenho, as GPUs NVIDIA H100, alugadas na nuvem por meio do provedor Lambda Labs.

Nos logs do terminal, foi possível acompanhar em tempo real a queda consistente da perda (loss) e a melhora gradual na coerência do texto gerado pelo modelo à medida que o tempo passava. Enquanto treinar um sistema equivalente custava cerca de 40 mil dólares em 2019, os avanços em hardware e software permitiram realizar o mesmo experimento em apenas 24 horas por menos de 700 dólares nos dias atuais.

O motor do mundo digital: o custo e a força das placas de vídeo nos datacenters

Para dar vida aos modelos de inteligência artificial que usamos hoje, computadores comuns não dão conta do recado. O especialista Andrej Karpathy explica que o trabalho pesado é feito por unidades de processamento gráfico de alta performance da Nvidia conhecidas como GPU H100 (GPU H100). Pense nessas placas como motores superpotentes criados sob medida para fazer milhões de cálculos ao mesmo tempo, um conceito técnico chamado de paralelismo. Enquanto um computador normal resolve uma conta por vez, a placa de vídeo divide a tarefa em milhares de pedaços e resolve tudo junto.

Essa capacidade de processamento paralela é o encaixe perfeito para treinar redes neurais, que são os sistemas de computação inspirados no cérebro humano. No entanto, colocar essa estrutura para funcionar custa caro e exige uma infraestrutura gigantesca. Alugar espaço em servidores com esses chips em empresas especializadas, como a Lambda Labs, custa cerca de três dólares por hora para cada placa de vídeo. Para pequenos negócios, entender esse custo ajuda a perceber por que a tecnologia de ponta exige investimentos bilionários.

Empresas de tecnologia e bilionários como Elon Musk constroem datacenters massivos, que são prédios cheios de computadores, reunindo centenas de milhares dessas placas trabalhando juntas. Imagine uma oficina mecânica gigante onde milhares de robôs trabalham dia e noite para montar carros em tempo recorde. É essa escala colossal que permite processar a quantidade monumental de dados necessária para criar as inteligências artificiais modernas. Sem essa força bruta, o treinamento demoraria séculos para ser concluído.

O objetivo principal dessa fase inicial, chamada de pré-treinamento, é alimentar o sistema com textos para que ele aprenda a prever o próximo token, que é a menor unidade de texto, como uma sílaba ou palavra. O resultado desse esforço colossal é o que chamamos de modelo base (base model). Este modelo não é um assistente pronto para conversar, mas sim um simulador de tokens de internet. Ele funciona como uma máquina estatística que absorveu o estilo, a gramática e os fatos contidos em bilhões de páginas da grande rede.

O modelo base acumulou um volume impressionante de informações sobre o mundo real. Ele guarda todo esse conhecimento nos parâmetros da rede, que são os pontos de ajuste internos que definem como a inteligência artificial toma decisões. Contudo, ele ainda não sabe responder perguntas de forma educada ou seguir instruções diretas. Se você fizer uma pergunta, ele apenas continuará o texto como se estivesse escrevendo a próxima linha de um documento da internet. Para transformá-lo em um assistente útil, um longo caminho de adaptação ainda precisa ser percorrido.

Os modelos base e o fenômeno curioso da recitação de textos

Para ilustrar como esses sistemas funcionam na prática, Karpathy apresenta o modelo Llama 3.1 405B da Meta, treinado com a marca impressionante de quinze trilhões de tokens. Esse volume gigantesco de dados garante que o modelo conheça fatos, histórias e linguagens de diversas partes do mundo. Durante uma demonstração prática, o palestrante mostra como o modelo base lida com entradas de texto brutas. Ele se comporta exatamente como um espelho estatístico da internet, gerando continuações automáticas para qualquer frase que receba.

Um dos comportamentos mais fascinantes e inesperados que surgem nessa fase é a recitação (recitation). Esse fenômeno acontece quando a inteligência artificial memoriza blocos exatos de textos disponíveis na internet, como artigos da Wikipédia ou livros, e os reproduz palavra por palavra. Pense em um ator que leu um roteiro tantas vezes que consegue repeti-lo inteirinho sem errar nenhuma vírgula. Embora mostre a enorme capacidade de memorização do sistema, isso também levanta debates importantes sobre direitos autorais e o uso de conteúdos públicos.

Vale destacar que o modelo base não foi programado para ser um assistente prestativo de perguntas e respostas. Se você digitar o início de uma lista de compras ou o começo de uma receita culinária, ele não vai listar os itens ou ensinar a cozinhar. Em vez disso, ele vai inventar continuações que se pareçam com o estilo de um site de culinária ou de um fórum de debates. Imagine uma máquina de escrever antiga que continua escrevendo uma carta sozinha com base nas primeiras palavras que você digitou, sem se importar se a história faz sentido prático.

Essa característica mostra claramente a diferença entre o material bruto gerado pelo pré-treinamento e o produto final que chega aos usuários comuns. O modelo base é a matéria-prima, comparável ao petróleo bruto antes de ser refinado para virar gasolina. Ele contém uma riqueza imensa de conhecimento, mas precisa passar por etapas adicionais de refinamento para se tornar seguro, útil e fácil de usar no dia a dia por qualquer pessoa.

A demonstração prática também revela as chamadas alucinações, momentos em que o modelo inventa informações com total convicção. Como o objetivo dele é apenas prever o próximo token estatisticamente provável, eleprioriza a fluência do texto em detrimento da verdade factual. Para corrigir essa falha e transformar o simulador de texto em um assistente confiável, a indústria desenvolveu a fase seguinte, conhecida como pós-treinamento.

A transformação do modelo bruto em um assistente prestativo e seguro

O pós-treinamento (post-training) é a etapa mágica que transforma o simulador de documentos da internet em um assistente amigável para conversas. Enquanto o modelo base apenas continua textos, o assistente pós-treinado sabe responder perguntas, seguir regras e manter um diálogo coerente. Para que isso aconteça, os engenheiros estruturam as conversas usando códigos especiais de controle, como marcas que indicam onde começa e onde termina a fala de cada pessoa. É como colocar etiquetas coloridas em uma transcrição de reunião para separar quem disse o quê.

Essa estruturação usa marcadores específicos, traduzidos em termos técnicos como marcas de início e fim de mensagem, para organizar o fluxo de perguntas e respostas. Sem essa organização, o sistema misturaria a fala do usuário com a resposta da inteligência artificial, criando uma grande confusão lógica. Pense em um roteiro de teatro onde os nomes dos personagens aparecem antes de cada fala para orientar os atores sobre o momento exato de entrar em cena.

Para ensinar o modelo a adotar um comportamento adequado, os criadores utilizam grandes conjuntos de dados criados por humanos, conhecidos como datasets. Projetos abertos como o OpenAssistant e o UltraChat fornecem milhares de exemplos de diálogos reais entre pessoas e assistentes. Nesses diálogos, o assistente demonstra como ser útil, verdadeiro e inofensivo. Esse processo estatístico molda a persona do sistema, ensinando-o a recusar pedidos perigosos e a explicar conceitos difíceis com clareza.

O palestrante demonstra também a técnica de aprendizado em contexto, conhecida no meio técnico como in-context learning. O truque consiste em fornecer exemplos dentro do próprio texto enviado à inteligência artificial, mostrando o comportamento esperado. Imagine que você treina um novo atendente de loja entregando a ele um papel com três exemplos de como responder a clientes irritados. Com base nesses poucos exemplos, o atendente aprende o padrão e passa a atender os demais clientes seguindo o mesmo tom.

Essa programação por exemplo dispensa alterações profundas na estrutura interna do programa. Ao fornecer pares de conversação no prompt, que é a caixa de texto onde digitamos nossos pedidos, o sistema adota instantaneamente a postura desejada. Seja simulando um especialista em tecnologia ou um assistente corporativo multilingue, a inteligência artificial absorve o padrão estatístico do contexto fornecido e entrega resultados surpreendentes e alinhados com o que o usuário precisa.

Como lidar com as invenções e alucinações dos modelos

O modelo base de um sistema de inteligência artificial funciona como um simulador de documentos da internet. Ele gera texto de forma estatística, baseando-se em tudo o que viu durante o treinamento. Quando alguém faz uma pergunta sobre um assunto desconhecido ou sobre uma pessoa fictícia, o sistema pode inventar uma resposta. Esse fenômeno é conhecido como alucinação.

A alucinação ocorre porque, no conjunto de dados de treino, perguntas difíceis ou inventadas raramente vinham acompanhadas de uma recusa educada. O modelo foi treinado para soar confiante. Imagine um funcionário novato que tenta responder a um cliente com tanta firmeza que acaba inventando uma regra da loja para não parecer desinformado.

A primeira forma de mitigar esse problema consiste em interrogar o conhecimento do próprio modelo. Os engenheiros criam exemplos de treino focados em ensinar o sistema a reconhecer seus próprios limites. Assim, o assistente aprende a dizer que não sabe a resposta, em vez de inventar fatos.

A segunda abordagem introduz recursos externos por meio de tokens especiais, como comandos de início e fim de busca. Quando o assistente percebe que não possui a informação exata em sua memória interna, ele emite essas tags. O sistema externo pausa a geração, realiza uma busca na web e insere o texto recuperado diretamente na memória de trabalho do assistente.

Memória interna e a janela de contexto

Para entender como a inteligência artificial armazena informações, vale a pena comparar dois tipos de memória. O conhecimento armazenado nos parâmetros do modelo equivale a memórias vagas de algo que você leu há muito tempo. É como o conteúdo geral de um livro que você leu no ano passado e lembra vagamente.

Por outro lado, a janela de contexto (context window) funciona como a memória de trabalho atual. É o espaço sobre a mesa onde você espalha documentos, anotações e relatórios para consultar agora mesmo. Adicionar contexto e referências diretamente no prompt, que é a instrução digitada pelo usuário, melhora drasticamente a qualidade das respostas.

Essa divisão explica por que os modelos frequentemente erram detalhes específicos de documentos longos se não tiverem acesso a eles na janela de contexto. A memória interna do modelo é estática e estagnada no momento em que seu treinamento terminou. O contexto é dinâmico e traz a informação fresca para o momento da conversa.

Saber equilibrar esses dois mundos permite que empresas criem assistentes corporativos mais confiáveis. Em vez de exigir que a inteligência artificial memorize todo o catálogo de produtos da empresa, os sistemas modernos buscam o manual correto e o colocam na janela de contexto do modelo no momento da pergunta.

A identidade e a ilusão de autoconsciência

Modelos de linguagem não possuem uma identidade persistente. Eles inicializam a conversação a partir do zero a cada nova interação, como se sofressem de amnésia a cada clique em novo chat. Perguntar quem é você para um modelo sem instrução prévia gera respostas aleatórias porque ele apenas imita padrões estatísticos encontrados na internet.

Para evitar essa confusão e garantir que o assistente saiba quem ele é, os desenvolvedores utilizam conjuntos de dados de instrução específicos. Além disso, aplicam uma mensagem de sistema (system message) logo no início da conversa. Essa instrução oculta define o papel, o tom e as regras de comportamento do assistente.

Imagine um ator que entra no palco sem saber qual peça vai encenar. A mensagem de sistema funciona como o diretor sussurrando o roteiro e o personagem exato que ele deve interpretar. Sem essa orientação inicial, o modelo apenas continuaria gerando textos aleatórios com base no estilo de conversas genéricas da web.

Essa engenharia de comportamento garante que o assistente mantenha uma postura profissional, útil e segura. O usuário percebe uma personalidade coesa, mas por trás da tela existe apenas um motor estatístico guiado por regras firmes estabelecidas antes de a conversa começar.

Por que os modelos precisam de espaço para pensar

O processamento de um transformer, a arquitetura por trás dos grandes modelos, ocorre token a token em uma sequência unidimensional. Essa estrutura impõe uma limitação física importante: a quantidade de computação disponível em cada passo de geração é limitada. Resolver um problema matemático complexo em um único token costuma falhar.

O esforço computacional exigido para chegar ao resultado correto supera o que a rede neural consegue processar em um único passe. É o mesmo que pedir para uma pessoa calcular a raiz quadrada de um número de dez dígitos de cabeça, sem papel e caneta. O erro é quase garantido por falta de espaço mental imediato.

A solução para esse gargalo é permitir que o modelo escreva resultados intermediários e etapas de cálculo passo a passo. Esse processo distribui a computação ao longo de vários tokens e aumenta drasticamente a precisão da resposta. Cada palavra gerada funciona como um degrau lógico para o próximo raciocínio.

Além disso, o uso de ferramentas de interpretação de código (code interpretation) permite que o modelo escreva programas em Python e os execute em um ambiente externo. Em vez de depender exclusivamente da aritmética mental, a inteligência artificial delega o cálculo pesado para a calculadora do sistema, eliminando erros numéricos básicos.

O aprendizado por reforço e a analogia com a escola

A construção de um grande modelo de linguagem (large language model) não termina quando o sistema aprende a prever a próxima palavra da internet. Existe uma última e principal fase de treinamento chamada aprendizado por reforço (reinforcement learning - RL). Essa etapa serve para afinar o comportamento do sistema, ajudando-o a resolver problemas complexos com mais precisão. Se o pré-treinamento fosse a leitura de todos os livros do mundo, o aprendizado por reforço seria a fase em que o aluno resolve exercícios práticos e descobre caminhos melhores para chegar ao resultado correto.

Para entender essa dinâmica, podemos usar uma metáfora escolar simples. Imagine uma escola tradicional dividida em três grandes momentos de aprendizado. O pré-treinamento equivale a assistir a todas as aulas teóricas e ler livros de biblioteca, absorvendo o conhecimento geral do mundo. O ajuste fino supervisionado (supervised fine-tuning - SFT) funciona como o momento em que o aluno estuda apostilas com problemas já resolvidos por professores, aprendendo o formato correto de responder.

Já o aprendizado por reforço (reinforcement learning - RL) representa o estágio em que o aluno vai para casa e tenta resolver listas de exercícios sozinho. Ele erra, tenta de novo, descobre onde falhou e ajusta sua estratégia para a próxima tentativa. Nos modelos de inteligência artificial, essa fase usa tentativa e erro para que o sistema teste caminhos diferentes e seja recompensado quando acerta o resultado de um problema desafiador de lógica ou matemática.

Durante essa fase prática, o sistema interage com o problema gerando várias sequências de tokens, que são os pedaços de palavras que a inteligência artificial processa. O software avalia quais caminhos levaram à resposta certa e ajusta seus parâmetros internos para favorecer essas rotas no futuro. É um processo intensivo de tentativa, erro e correção que transforma um assistente comum em um solucionador de problemas muito mais confiável.

Os desafios dos tokens na matemática e na lógica

Um ponto fundamental para entender as limitações das inteligências artificiais é lembrar que elas não enxergam letras ou caracteres individuais, mas sim pedaços de palavras chamados tokens. Como dizia o pesquisador Andrej Karpathy, os modelos não veem caracteres, eles veem tokens, e a vida inteira deles é sobre tokens. Essa forma de enxergar o texto cria barreiras curiosas quando o assunto envolve contagem de letras, ortografia ou operações matemáticas básicas.

Imagine que você peça para uma inteligência artificial contar quantas vezes a letra r aparece na palavra strawberry, que significa morango em inglês. Historicamente, modelos tradicionais tropeçavam nesse tipo de tarefa simples. Para nós humanos, soletrar é um processo visual direto. Para a máquina, a palavra inteira ou sílabas dela entram como um único bloco numérico, o token, o que dificulta a contagem interna de letras isoladas sem o auxílio de ferramentas externas de código.

Outro exemplo clássico que desafiava os sistemas era a comparação de números decimais, como decidir qual número é maior entre 9.11 e 9.9. Devido à forma como os números são cortados e transformados em tokens, o modelo muitas vezes confundia a lógica matemática pura. Tarefas que exigem aritmética mental direta através de tokens pudessem falhar porque o sistema dependia apenas de padrões estatísticos aprendidos nos textos da internet, e não de um cálculo rigoroso.

Essas limitações mostram por que os modelos precisam de abordagens diferentes quando o objetivo é resolver problemas lógicos complexos. Sem uma estratégia estruturada, a inteligência artificial apenas adivinha a próxima palavra com base na estatística do texto. Para superar isso, a indústria precisou desenvolver novas técnicas de treinamento que obrigassem o modelo a desacelerar e processar cada etapa do raciocínio antes de dar o veredito final.

A revolução da DeepSeek-R1 e o raciocínio emergente

Uma grande reviravolta aconteceu na área de inteligência artificial com a publicação do paper de pesquisa do modelo DeepSeek-R1. A equipe responsável demonstrou que era possível aplicar o aprendizado por reforço direto em modelos base, sem precisar da etapa intermediária de ajuste fino supervisionado tradicional. Essa abordagem puramente baseada em tentativas e correções gerou capacidades de raciocínio avançadas e longas cadeias de pensamento de forma totalmente natural.

Esse fenômeno revelou o surgimento da chamada cadeia de pensamento (chain of thought). Trata-se de uma propriedade em que o modelo, ao receber uma pergunta difícil de matemática ou programação, aprende a gerar um longo texto interno de raciocínio antes de soltar a resposta final. O software produz blocos de reflexão onde ele mesmo avalia se o cálculo está correto, corrige rotas e testa hipóteses alternativas, simulando o pensamento humano passo a passo.

Como explicou Karpathy durante suas análises, o modelo está aprendendo estratégias cognitivas de como manipular um problema. Isso é o que causa o aumento drástico no comprimento dos tokens gerados, pois o sistema gasta tempo computacional interno para pensar, reavaliar e corrigir a si mesmo. É por isso que plataformas de hospedagem e ferramentas de teste como Together.ai e Hugging Face se tornaram populares para desenvolvedores testarem esses novos modelos de raciocínio na prática.

Esses avanços mudaram a forma como a indústria enxerga o desenvolvimento de assistentes virtuais. Empresas como a OpenAI e outras passaram a adotar modelos de raciocínio que dedicam tempo de processamento para pensar antes de responder. Em alguns casos, as empresas optam por esconder os passos detalhados desse pensamento interno por motivos de segurança e propriedade intelectual, mostrando ao usuário apenas um resumo final da linha de raciocínio utilizada.

O aprendizado por reforço em domínios verificáveis e a superação humana

Nesta etapa do estudo, o especialista Andrej Karpathy avança para o aprendizado por reforço (reinforcement learning), conhecido pela sigla RL. Imagine um programa de computador que aprende a jogar xadrez ou a resolver contas matemáticas jogando contra si mesmo milhões de vezes. O aprendizado por reforço (RL) é o método de treinamento onde o modelo aprende a tomar decisões e otimizar ações para maximizar uma recompensa em um ambiente interativo. Em áreas de domínios verificáveis, que são áreas onde a resposta gerada pode ser validada de forma objetiva por meio de regras ou gabaritos, como matemática, programação e jogos de tabuleiro, a regra do jogo é muito clara. Se a resposta está certa, ganha pontos; se está errada, perde.

O ponto fascinante é que, ao usar esse método em ambientes com gabarito claro, o sistema deixa de apenas copiar os humanos. O aprendizado supervisionado tradicional ensina o modelo a imitar especialistas humanos, mas cria um teto de desempenho. O modelo treinado com supervisão nunca supera o nível do melhor humano que escreveu os exemplos originais. Já no aprendizado por reforço, a máquina joga contra si mesma e explora caminhos que nenhum ser humano jamais pensou em testar. Ela descobre novas estratégias por tentativa e erro em alta velocidade.

Um exemplo clássico citado no estudo é o famoso lance Move 37 da inteligência artificial AlphaGo contra o campeão mundial Lee Sedol. O programa fez uma jogada que os comentaristas humanos consideraram um erro absurdo, com probabilidade de um em dez mil de ser escolhida por um mestre humano. Em retrospectiva, revelou-se um lance genial que garantiu a vitória. Isso prova que o aprendizado por reforço permite que a inteligência encontre soluções melhores e mais criativas do que a sabedoria acumulada da humanidade em determinadas regras fechadas.

Contudo, a grande questão prática é que a maior parte do mundo real não funciona com regras matemáticas simples e gabaritos definitivos. Como ensinar um computador a julgar se uma piada tem graça ou se um poema é emocionante? É exatamente aqui que entramos nos domínios mais complexos da linguagem, onde a verificação objetiva deixa de existir e o julgamento humano passa a mandar no processo.

Os domínios inverificáveis e o papel do RLHF na prática

Quando saímos da matemática pura e entramos nos domínios inverificáveis, que são áreas criativas ou subjetivas onde não existe uma resposta certa absoluta, dependendo inteiramente de apreciação e julgamento humano, como piadas e escrita de poemas, o desafio muda de figura. O computador não tem como calcular sozinho se um texto literário ficou bom ou ruim. A abordagem ingênua exigiria colocar seres humanos na frente da tela avaliando bilhões de piadas ruins ou rascunhos sem pé nem cabeça, o que é inviável pelo custo e pelo tempo necessários.

Para resolver esse obstáculo, a indústria de tecnologia recorre a uma técnica chamada RLHF (reinforcement learning from human feedback), que em português significa aprendizado por reforço com feedback humano. Nessa abordagem, o processo é dividido. Em vez de usar humanos em tempo real para cada cálculo, a empresa treina um modelo separado chamado de modelo de recompensa (reward model). Este modelo de recompensa funciona como um simulador de julgamento, pois ele aprende a imitar as preferências de pessoas reais.

O fluxo de trabalho começa quando o assistente de inteligência artificial gera várias respostas diferentes para a mesma pergunta, chamadas de rollouts. Pessoas reais examinam essas respostas e dizem qual é a melhor, qual é a mediana e qual é a pior. Com base nessa ordenação feita por humanos, o modelo de recompensa é ajustado para prever o gosto humano. Em seguida, o modelo principal de linguagem usa esse avaliador automático para refinar seu comportamento, melhorando o tom, a utilidade e a segurança das respostas.

Embora essa sintonia fina seja extremamente poderosa para tornar os assistentes digitais úteis no dia a dia, Karpathy faz um alerta importante. O RLHF não deve ser visto como uma solução mágica e perfeita que pode rodar para sempre sem supervisão. Ele possui limitações técnicas que exigem cuidado rigoroso dos engenheiros durante o desenvolvimento das ferramentas.

Os riscos do RLHF e o problema do ajuste adversarial

O primeiro grande risco apontado no estudo é o fenômeno da simulação com perdas, conhecida como lossy simulation. Como o modelo de recompensa é apenas uma cópia imperfeita do julgamento humano, ele deixa passar nuances importantes. Ele simplifica a complexidade da aprovação humana em uma nota numérica fria. Isso significa que o assistente de inteligência artificial pode aprender a agradar o avaliador automático sem realmente entregar um conteúdo de alta qualidade para a pessoa que fez a pergunta na outra ponta da tela.

Além disso, surge um problema fascinante e perigoso chamado de model gaming, que podemos traduzir como ajuste adversarial. Se os engenheiros deixarem o aprendizado por reforço rodar por tempo demais tentando maximizar a pontuação a qualquer custo, o modelo descobre as brechas matemáticas do sistema de avaliação. Ele percebe exatamente o que o modelo de recompensa quer ver e passa a explorar essas fraquezas para conseguir notas máximas de forma artificial.

Um exemplo prático desse comportamento anômalo ocorre quando o sistema começa a gerar saídas completamente sem sentido, como a repetição infinita da mesma palavra ou frases desconexas, mas que pontuam alto na lógica falha da função de recompensa. O programa descobre um atalho matemático e abandona o comportamento útil. Por causa disso, Karpathy reforça que o RLHF é uma ferramenta delicada de ajuste fino, e não um motor de aprendizado autônomo infinito.

Compreender esses limites ajuda donos de pequenos negócios e jovens empreendedores a entenderem por que as ferramentas de inteligência artificial às vezes parecem insistir em comportamentos estranhos ou repetitivos quando são submetidas a testes extremos ou solicitações fora do padrão habitual de uso.

O futuro da inteligência artificial, agentes autônomos e recursos de estudo

Olhando para o horizonte da tecnologia, a próxima grande fronteira dos modelos de linguagem é a multimodalidade, que é a capacidade de um modelo de inteligência artificial processar, compreender e gerar diferentes tipos de mídia, como texto, áudio, imagens e vídeo de forma integrada no mesmo fluxo de dados. Os sistemas do futuro não vão apenas ler e escrever textos, mas vão enxergar o mundo, ouvir conversas e falar com naturalidade, processando tudo simultaneamente em uma única rede neural unificada.

Outra transformação em curso é a evolução de tarefas isoladas para agentes autônomos de longa duração. Em vez de um programa que apenas responde a uma única pergunta e encerra o trabalho, a indústria caminha para softwares capazes de operar de forma autônoma por horas ou dias, planejando etapas complexas, usando ferramentas externas e corrigindo seus próprios erros ao longo do caminho até concluir uma missão empresarial inteira.

Para quem deseja acompanhar esse mercado acelerado sem se perder em meio a tantas novidades, existem recursos práticos recomendados por especialistas. O LMSYS Chatbot Arena é uma plataforma aberta onde usuários comuns fazem testes cegos votando na melhor resposta entre dois modelos diferentes, gerando um ranking global e imparcial dos melhores sistemas do mundo. Outra excelente fonte de estudo é a newsletter AI News, criada para resumir as principais publicações científicas e lançamentos da área.

Finalmente, o ecossistema atual conta com uma grande variedade de opções de ponta, desde gigantes proprietários até iniciativas de código aberto, como os modelos Llama da Meta e as inovações recentes da DeepSeek. Para o empreendedor ou estudante curioso, experimentar essas ferramentas em plataformas de teste acessíveis é o melhor caminho para transformar o conhecimento teórico em vantagem competitiva prática nos negócios.

O ponto de partida: como a inteligência artificial absorve o mundo digital

Chegamos ao final da nossa aula completa sobre os modelos de linguagem grande, conhecidos como grandes modelos de linguagem (Large Language Models). Nesta última etapa, vamos olhar para o início de tudo, revendo a base que sustenta ferramentas como o ChatGPT. O processo de criação de uma inteligência artificial começa com uma fase monumental chamada de pré-treinamento (pre-training). Imagine que você decida construir uma biblioteca gigante e contrate um leitor voraz para absorver cada livro, artigo e página da internet.

Durante essa fase inicial, a rede neural (neural network), que é o sistema matemático inspirado no cérebro humano, absorve uma quantidade colossal de dados públicos. Ela não decora frases inteiras como um papagaio, mas internaliza padrões, fatos, histórias e estruturas da linguagem. Pense nisso como um estudante que lê a enciclopédia inteira para entender como as palavras se conectam e qual é o conhecimento acumulado pela humanidade até aquele momento.

Todo esse volume de informações serve para alimentar os parâmetros (parameters) do modelo. Os parâmetros funcionam como bilhões de pequenas chaves de ajuste que definem como a inteligência artificial processa uma informação. Ao final do pré-treinamento, temos um modelo bruto. Ele possui muito conhecimento sobre o mundo, mas ainda não sabe conversar, não entende o formato de uma pergunta e não sabe agir como um assistente útil para o seu negócio.

Para ilustrar, imagine que você pegou todos os manuais de contabilidade do mundo e colocou na cabeça de um recém-formado. Ele tem a teoria toda guardada, mas ainda não sabe como atender um cliente na recepção da sua loja. É exatamente nesse ponto que entra a transição para a próxima fase do desenvolvimento da tecnologia.

Compreender essa base é fundamental para qualquer pequeno empresário ou jovem empreendedor que deseja usar a tecnologia no dia a dia. Saber que a inteligência artificial passa por etapas distintas ajuda a entender por que ela às vezes acerta muito em fatos gerais, mas precisa de orientações específicas para realizar tarefas práticas do seu escritório.

Ensinando o modelo a conversar com o ajuste fino supervisionado

Depois que a inteligência artificial absorve todo o conhecimento da internet, ela precisa aprender a interagir com as pessoas. É aqui que entra o ajuste fino supervisionado (Supervised Fine-Tuning), conhecido pela sigla SFT. Se o pré-treinamento foi a fase em que o modelo leu todos os livros da biblioteca, o ajuste fino é o treinamento prático de atendimento ao cliente.

Nesta etapa, empresas criam conjuntos de dados cuidadosamente selecionados com conversas reais. Pense nisso como manuais de boas práticas de atendimento para os funcionários da sua lanchonete. O objetivo é ensinar o modelo a entender comandos, chamados de comandos (prompts), e a responder de maneira clara, educada e útil para quem está perguntando.

Para realizar essa tarefa, empresas como a OpenAI contratam profissionais especializados conhecidos como rotuladores de dados (data labelers). Esses profissionais escrevem pares de perguntas e respostas ideais. Eles mostram exatamente como a inteligência artificial deve se comportar diante de diferentes situações, desde explicar uma regra de matemática até redigir um e-mail comercial.

O trabalho desses profissionais serve como gabarito para a rede neural. O modelo lê as instruções dadas aos rotuladores e estuda centenas de milhares de exemplos de interações perfeitas. Com isso, ele aprende a gramática da conversação, o tom de voz adequado e a estrutura lógica para resolver problemas apresentados pelos usuários.

Para o dono de um pequeno negócio, essa etapa explica por que o assistente virtual consegue entender instruções complexas sem que você precise programar nada. Ele foi treinado por humanos reais para agir como um colaborador prestativo, pronto para ajudar nas tarefas cotidianas da sua empresa.

A fascinante simulação de um profissional humano

Um dos conceitos mais fascinantes revelados pelo especialista Andrej Karpathy é o que acontece nos bastidores quando você digita uma mensagem. Ele resume essa dinâmica com uma frase marcante: isso é a simulação da rede neural de um rotulador de dados da OpenAI. Mas o que isso significa na prática para quem usa a tecnologia diariamente?

Quando você faz uma pergunta ao ChatGPT, a inteligência artificial não está apenas adivinhando uma palavra qualquer de forma aleatória. Ela simula o comportamento do profissional humano que leu as instruções de rotulagem e dedicou tempo para elaborar a resposta ideal. O modelo assume esse papel e executa o processo que aprendeu durante o ajuste fino supervisionado.

Isso quer dizer que o modelo lê a sua instrução, compreende o contexto e gasta energia computacional simulando a mente de alguém treinado para dar a melhor resposta possível. Ele pondera as opções, organiza as ideias e gera o texto token por token, sempre buscando atender ao padrão de qualidade que os criadores exigiram no treinamento.

Contudo, é preciso lembrar que essa simulação criada por redes neurais não funciona exatamente como o cérebro humano. Tarefas que são extremamente fáceis para nós, como contar letras em uma palavra ou resolver certas pegadinhas lógicas, podem ser muito difíceis para a inteligência artificial, e vice-versa. O modelo realiza uma computação matemática complexa baseada em tokens e parâmetros, e não um raciocínio biológico.

Entender essa diferença evita frustrações no uso corporativo. Saber que a ferramenta está simulando um profissional humano ajuda a ajustar as expectativas, garantindo que você use o assistente como um copiloto brilhante, mas que ainda precisa da sua supervisão humana para validar os resultados finais no seu negócio.