KoboldCpp

O que é

O KoboldCpp é um programa gratuito e de código aberto para rodar modelos de linguagem no seu computador. Segundo o repositório oficial, é um único arquivo executável, sem instalação, disponível para Windows, Linux e Mac. Ele é baseado no llama.cpp, um dos motores mais usados para IA local.

O programa ficou famoso entre escritores e fãs de histórias interativas, mas também serve como assistente comum. A licença informada no GitHub é a GNU AGPL v3.0.

Como funciona

Você baixa o KoboldCpp e, separadamente, um modelo em formato GGUF, geralmente no Hugging Face. Ao abrir o programa, escolhe o arquivo do modelo, ajusta as configurações de hardware e clica em Launch. Em seguida, uma tela abre no navegador, no endereço local do seu computador.

É como ligar um forno portátil: você traz o ingrediente (o modelo), escolhe a temperatura e começa a cozinhar. Placa de vídeo é opcional, mas acelera bastante.

Principais recursos

Além de gerar texto em modos de chat, instrução, aventura e história, o repositório oficial cita geração de imagens, reconhecimento de voz, fala sintetizada e até geração de música e vídeo com modelos compatíveis. A interface KoboldAI Lite traz memória, informações do mundo da história, personagens e salvamento das histórias.

O programa também oferece conexões compatíveis com outros apps, inclusive no formato da OpenAI e do Ollama. Há ainda modelos prontos sugeridos para iniciantes dentro do próprio programa.

Pra quem é (e pra quem não é)

É indicado para quem quer rodar IA local sem instalar nada, para escritores e criadores de histórias, e para quem gosta de ajustar configurações. Funciona até em computadores mais antigos, com versões específicas para isso.

Quem quer a experiência mais simples possível pode preferir o Ollama ou o LM Studio, que escolhem e baixam os modelos por você. O catálogo indica 8 GB de RAM para modelos pequenos, com placa de vídeo acelerando.

Quanto custa

Segundo o catálogo do IAlfabeto, o KoboldCpp é código aberto e gratuito. Você não paga licença nem mensalidade para usá-lo no seu computador.

Os custos que existem são indiretos: um computador com memória e, de preferência, placa de vídeo à altura dos modelos que você quer rodar, além da energia elétrica gasta enquanto a IA trabalha. Os modelos GGUF também costumam ser gratuitos para baixar, mas cada um tem sua própria licença.

Dicas para usar melhor

Comece pelos modelos sugeridos para iniciantes no próprio programa. Se não tiver placa de vídeo da NVIDIA, use a versão menor indicada no GitHub, que funciona com processador e outras placas.

Mantenha o KoboldCpp aberto enquanto usa a tela do navegador, porque é ele que gera as respostas. Teste os modos diferentes: o modo de instrução é mais parecido com o ChatGPT.

Cuidados e privacidade

Baixe o KoboldCpp somente da página oficial de versões no GitHub. O próprio repositório alerta que existe um site falso usado para golpes, que não tem relação com o projeto.

Escolha modelos de fontes confiáveis no Hugging Face. Versões feitas por terceiros podem ter conteúdo sem filtro, o que pede cuidado em ambiente de trabalho.