Como escolher um modelo de IA para seu projeto sem estourar o custo

Um time de produto escolheu o modelo com a melhor nota em um ranking público de LLM.

Três semanas depois, a fatura da API passou do orçamento do trimestre e a latência derrubou a conversão do chat.

O problema não era o modelo.

Era a ordem das perguntas. ## Por que o topo do ranking não decide o seu projeto Benchmarks medem tarefas genéricas.

Seu projeto tem dados, volume e restrições próprias.

Um modelo que lidera em raciocínio matemático pode perder para um menor em classificação de tickets de suporte.

A Microsoft mantém um guia de escolha de modelo no Azure Architecture Center justamente porque a decisão depende da carga de trabalho, não de uma tabela única.

A primeira pergunta é sobre a tarefa.

Geração de texto aberto, extração estruturada, código, visão computacional e transcrição de áudio pedem famílias diferentes.

Se o projeto lê imagens ou áudio, o leque se restringe a modelos multimodais como GPT-4o, Gemini e as versões com visão do Claude. ## Custo por token: o critério que domina a fatura Todo provedor cobra por token de entrada e por token de saída, e os dois preços não são iguais.

A Anthropic, por exemplo, publica tabelas separadas para cada um.

Modelos de raciocínio, como os da linha o1 da OpenAI, geram tokens internos de pensamento que também entram na conta.

A estimativa correta tem quatro linhas: 1.

Média de tokens de entrada por requisição.

2.

Volume de requisições por mês.

3.

Média de tokens de saída por resposta.

4.

Preço de cada tipo de token no provedor escolhido.

O resultado muda a arquitetura.

Para alto volume e tarefas simples, modelos compactos como Gemini Flash e Claude Haiku existem exatamente para isso.

Cache de prompt e processamento em lote reduzem o custo de entradas repetidas.

Modelos com pesos abertos, como Llama (Meta) e Mistral, trocam o custo por token por custo de GPU e operação.

É um cálculo diferente, e pode compensar em volume muito alto. ## Latência, contexto e multimodalidade A janela de contexto tem efeito direto no preço, porque mais contexto significa mais tokens de entrada a cada chamada.

Um documento de 100 páginas consome dezenas de milhares de tokens.

Enviar o mesmo material em todas as requisições multiplica esse valor.

Latência é outro filtro.

Modelos de raciocínio podem levar segundos a mais para responder.

Em chat em tempo real ou atendimento automatizado, o usuário percebe.

Em processamento noturno de relatórios, ninguém percebe. ## Licença e privacidade decidem em setores regulados API fechada significa que os dados saem da sua infraestrutura.

Em saúde, jurídico e financeiro, isso pode ser impedimento.

Modelos com pesos abertos permitem rodar on-premise.

Cada licença tem termos próprios para uso comercial, e alguns modelos restringem aplicações específicas.

A LGPD entra na conta.

Onde o dado trafega, quem processa e por quanto tempo fica retido são perguntas de contrato, não de engenharia.

O guia da Microsoft recomenda avaliar residência de dados antes de fechar com qualquer provedor. ## Como testar antes de assinar Monte um conjunto de 50 a 100 exemplos reais do seu domínio.

Rode nos dois ou três finalistas.

Compare taxa de acerto, custo por execução e latência na mesma máquina.

O ranking que importa é esse, não o do benchmark público.

A escolha raramente é definitiva.

Preços de API mudam e novos modelos saem a cada trimestre.

O que permanece é o método: defina a tarefa, calcule o custo total, meça a latência, confira a licença e teste com os seus dados.