SGLang

O que é

O SGLang é um programa de inferência (inference), que é o nome dado ao trabalho de rodar um modelo de IA para gerar respostas. O projeto se descreve como um framework, ou estrutura de software, otimizado para agentes e para atender muitos pedidos em grande escala. Ele roda modelos de linguagem, de visão e também de imagem e vídeo.

Se o Ollama é a cozinha de casa, o SGLang é a cozinha industrial de um restaurante cheio.

Como funciona

Você prepara um servidor Linux com placa de vídeo e instala o SGLang pelo Python ou pelo Docker, seguindo a documentação oficial. Depois, inicia o servidor indicando o modelo desejado. O SGLang carrega o modelo na placa de vídeo e fica esperando pedidos.

Os programas da empresa conversam com ele por uma API compatível com a da OpenAI. Isso quer dizer que muitos sistemas feitos para o ChatGPT podem ser apontados para o SGLang com poucas mudanças.

Principais recursos

O foco do SGLang é velocidade e capacidade de atender muitos usuários ao mesmo tempo. Segundo o projeto, ele suporta uma ampla variedade de hardware, incluindo placas NVIDIA, outros aceleradores e até Apple Silicon. O projeto mantém um guia de receitas (Cookbook) com comandos prontos para cada modelo e equipamento.

Há também um motor próprio para geração de imagem e vídeo incluído no pacote. Confira a documentação para ver os modelos suportados.

Pra quem é (e pra quem não é)

O SGLang é para equipes técnicas que vão colocar um modelo de IA em produção, atendendo sistemas, clientes ou muitos funcionários. O catálogo do IAlfabeto dá nota 5 de facilidade, a mais difícil da escala. Segundo o catálogo, o sistema indicado é Linux.

Não é para uso no notebook do dia a dia. Para conversar com IA no próprio computador, o Ollama, o Jan ou o LM Studio são muito mais adequados.

Quanto custa

Segundo o catálogo do IAlfabeto, o SGLang é gratuito e de código aberto: você pode baixar e usar sem pagar licença.

O custo real fica por conta do equipamento. Rodar IA no próprio computador exige memória e, muitas vezes, uma boa placa de vídeo, além de aumentar o consumo de energia. Na prática, servidores com placas de vídeo potentes são caros, seja comprando o equipamento ou alugando na nuvem.

Dicas para usar melhor

Use o Cookbook do projeto para encontrar o comando certo para o seu modelo e sua placa. Comece com um modelo menor para validar a instalação antes de subir algo grande. Monitore o uso de memória da placa de vídeo e o tempo de resposta.

Teste com a carga real da empresa antes de liberar para todos. E mantenha a versão atualizada, já que o projeto evolui rápido.

Cuidados e privacidade

Ferramenta para equipes técnicas; não é para uso no notebook do dia a dia. Rodando em servidor próprio, os dados ficam com a empresa, mas a segurança passa a ser responsabilidade da equipe. Não exponha a API na internet sem autenticação.

Confira a licença de cada modelo que for rodar, principalmente para uso comercial. E lembre que respostas de IA podem conter erros.