Saiba o que você serve antes de comprar mais
Capacidade de GPU é comprada por medo do pico e cobrada o dia inteiro; a utilização é um chute e o custo de um milhão de tokens não é número de ninguém. A inferência vai para o que foi configurado primeiro.
O The Bunny Lab mede a frota a partir do kernel: utilização por nó, custo por token e por requisição por modelo, tenant e endpoint, depois faz o backtest da demanda e cota onde cada workload roda mais barato, em GPU, ARM ou x86.
O que você recebe
- Custo por milhão de tokens, por requisição e por tenant, reconciliado com a fatura.
- Capacidade e folga da frota de GPU, com os nós ociosos precificados.
- Uma previsão de demanda com backtest e os cenários que mostram o que quebra primeiro.
- Posicionamento por execução, para que a inferência vá onde o desempenho por dólar é melhor.
Como funciona
Medimos a frota.
Telemetria de kernel em cada nó de GPU, unida à API de billing, em 48 horas.
Prevemos com números reais.
Demanda por modelo e endpoint, com backtest, ao lado das premissas da sua equipe.
Você decide com uma cotação.
Comprar, reservar, redirecionar ou recuperar, cada um com o número que justifica.
ANTES DE COMEÇAR
Antes de começar
Quais GPUs e nuvens?
Qualquer nó que o agente enxergue: NVIDIA e AMD em AWS, Azure, Google Cloud, Oracle Cloud, on-premises e neoclouds. Somente leitura, menos de 1% de overhead de CPU.
Vocês mexem nos modelos ou nos prompts?
Não. Medimos execução e custo. As decisões de roteamento são cotações que sua equipe aplica.
Dá para cortar a conta sem comprar hardware?
Normalmente sim. Capacidade de GPU ociosa e inferência mal roteada são os dois primeiros achados na maioria dos parques, e os dois se recuperam sem compra.
Compre a GPU de que precisa, não a que dá medo.
Comece pela avaliação do seu parque de inferência.