llama.cpp

O que é

O llama.cpp é um programa de código aberto escrito em C e C++ para fazer inferência (inference) de modelos de linguagem, ou seja, para rodar a IA e gerar respostas. Ele é a base de vários aplicativos conhecidos de IA local.

Pense no motor de um carro: muitos modelos de carro diferentes usam o mesmo motor por baixo do capô. O llama.cpp é esse motor, e apps como LM Studio e KoboldCpp são as carrocerias.

Como funciona

Você baixa uma versão pronta na página de lançamentos do GitHub e um modelo no formato GGUF no Hugging Face. O GGUF é um formato de arquivo que guarda o modelo de forma compacta, muitas vezes já reduzido para caber em menos memória.

Depois, roda o llama-server apontando para o arquivo do modelo. Ele abre um endereço local que você acessa no navegador para usar o chat embutido, e outros programas também podem se conectar a esse servidor.

Principais recursos

O destaque é a eficiência: roda em processadores comuns e aproveita placas de vídeo e chips da Apple quando disponíveis. Ele inclui um servidor com chat no navegador e uma interface para outros programas se conectarem.

Como é muito usado pela comunidade, novos modelos costumam ganhar suporte rapidamente. A documentação no GitHub lista as ferramentas incluídas e as opções de hardware.

Pra quem é (e pra quem não é)

É indicado para desenvolvedores, entusiastas e equipes técnicas que querem controle total sobre como a IA local roda. A facilidade é baixa, porque o uso é por linha de comando.

Para leigos, o melhor é usar um aplicativo que já embute o llama.cpp, como LM Studio, Ollama, Jan ou KoboldCpp. Você ganha a mesma base, com botões e menus.

Quanto custa

Pelo catálogo do IAlfabeto, o llama.cpp é gratuito e de código aberto, e o repositório indica licença MIT. Os modelos baixados têm licenças próprias.

O custo real fica por conta do computador e da energia: rodar IA local usa bastante processador, memória e, às vezes, placa de vídeo, o que pode exigir uma máquina melhor e aumentar um pouco a conta de luz. A vantagem do llama.cpp é justamente rodar bem até em máquinas mais simples.

Dicas para usar melhor

Comece com um modelo pequeno em GGUF e uma versão reduzida (quantizada), que ocupa menos memória. Use a versão pronta para o seu sistema e hardware, em vez de compilar o código.

Teste o chat embutido no navegador antes de conectar outros programas. Leia a documentação do llama-server para ajustar as opções principais.

Cuidados e privacidade

Baixe modelos só de fontes confiáveis e confira a licença antes de uso comercial. Arquivos de origem desconhecida podem ter problemas.

Por padrão, o servidor fica no seu computador. Se abrir o acesso para a rede, proteja com senha e não exponha à internet sem saber o que está fazendo.