Por que seu LLM é lento e o que corrigir primeiro

As respostas lentas geralmente vêm de três coisas: os prompts são muito grandes, os lotes estão mal formatados ou o cache está sem espaço. Corrija-os antes de comprar mais GPUs.

Experimente o Compute hoje: Lance um dedicado vLLM ponto final ligado Computar em França (UE), EUA, ou EMIRADOS ÁRABES UNIDOS. Estabeleça limites apertados, mantenha o tráfego na região e meça TTFT/TPS com suas próprias instruções.

Sintomas e causas prováveis

Vários fatores, como tamanho do prompt, lote e integridade do cache, influenciam o desempenho do LLM.

Triagem rápida (lista de verificação de 5 minutos)

1. Região — o endpoint está próximo dos usuários?
2. Streaming — é stream: true on?
3. Bonés — os limites max_tokens e de contexto são definidos por rota?
4. Tamanho do prompt — reduza o histórico e as solicitações do sistema; direcione entradas curtas. Observação: um tamanho menor de entrada pode melhorar as métricas de desempenho, como tokens por segundo (TPS), pois os tokens de entrada influenciam as medições de TPS.
5. Espaço livre — VRAM ≥ 10— 20% grátis no pico?
6. Fila — o comprimento da fila é estável sob carga ou subindo?
7. Registros — você grava TTFT/TPS por solicitação com IDs de solicitação?

Correções rápidas (hoje)

Lado do cliente

• Ative o streaming. Os usuários param mais cedo; o TTFT parece mais rápido; o TPS melhora.
• Instruções de corte. Remova o clichê, reduza o histórico e mantenha os exemplos mínimos.
• Aperte as tampas. Defina max_tokens por rota (chat: 128—256; resumos: 256—512).
• Tenta novamente com instabilidade. Somente em 429/5xx/timeouts; limite de tentativas.
• Aborte ao parar. Conecte um botão Stop que cancela a transmissão para liberar slots de servidor.

Lado do servidor

• Formato de lote do tamanho certo. Mantenha muitas decodificações pequenas em vez de algumas longas.
• Proteja o cache. Imponha limites de contexto; expulse de forma justa; assista a um acerto ou erro.
• Desativar o buffer de proxy em rotas de streaming; defina tempos limite de manutenção de atividade.
• Limites com reconhecimento de tokens. Defina o TPM e a simultaneidade por chave para evitar a fome.
• Modelos de pinos. Evite atualizações inesperadas que alteram a velocidade.

Correções duráveis (neste trimestre)

• Mude para dosagem contínua. Solicitações de admissão/aposentadoria em cada etapa; meça a justiça. Use as ferramentas certas para otimizar o desempenho do agrupamento em lotes e gerenciar a complexidade para obter o máximo desempenho, especialmente no hardware NVIDIA.
• Adote o RAG em contextos longos. Busque somente o que você precisa; os avisos diminuem; o TTFT cai.
• Quantize com sabedoria. Experimente int8 primeiro; int4 somente após verificações de qualidade. A arquitetura do modelo subjacente afeta a compatibilidade e o desempenho com diferentes métodos de quantização. Modelos quantizados podem ser executados com eficiência em CPUs, especialmente em ambientes com recursos limitados. Certifique-se de usar as instruções corretas da linha de comando para a configuração da quantização e certifique-se de que a versão correta das bibliotecas ou drivers esteja instalada.
• Coloque os terminais por região. UE na França; EUA no Leste dos EUA; Oriente Médio nos Emirados Árabes Unidos.
• Considere várias GPUs somente depois de provar que os caps e o cache estão saudáveis. Ao escalar, considere o tamanho do modelo — o número de parâmetros afeta o desempenho e os requisitos de recursos.

Start in seconds with the fastest, most affordable cloud GPU clusters.

Launch an instance in under a minute. Enjoy flexible pricing, powerful hardware, and 24/7 support. Scale as you grow—no long-term commitment needed.

Try Compute now

Quantização e outras técnicas avançadas

A quantização ajuda você a executar grandes modelos de linguagem com mais rapidez e a usar menos memória. Você converte pesos de modelo de formatos de maior precisão, como flutuadores de 16 bits, em formatos de menor precisão, como números inteiros de 4 bits. Isso reduz o tamanho do modelo e reduz as necessidades de memória. Mais do seu modelo e seu cache kv cabem na memória da GPU, para que você tenha acesso mais rápido aos dados e menor latência quando o modelo é executado. Quando você está criando uma IA generativa, isso significa melhor desempenho e custos mais baixos, esteja você lidando com muitas solicitações ou trabalhando com modelos maiores.

Você tem vários métodos de quantização para escolher. Cada um vem com vantagens e desvantagens. Técnicas de pós-treinamento, como GPTQ e AWQ, funcionam bem para LLMs. O AWQ usa uma abordagem baseada em dados e com reconhecimento de hardware para compactar os pesos dos modelos. Geralmente, oferece melhor desempenho e menos perda de precisão em modelos modernos ajustados para instruções. Escolha o método certo para suas necessidades. Modelos menores e menor precisão aumentam a velocidade e reduzem os custos, mas podem prejudicar a qualidade da saída se você não testar com cuidado.

A dosagem contínua mantém seu LLM servindo com alto rendimento. Em vez de esperar por um lote completo de solicitações, ele processa vários tokens e solicitações à medida que eles chegam. Sua GPU permanece ocupada com o mínimo de tempo ocioso. Frameworks como o vLLM usam essa abordagem. Eles lidam com muitos tokens de saída e novas solicitações ao mesmo tempo, o que melhora a taxa de transferência e a rapidez com que os usuários veem as respostas. Quando você precisa de baixa latência e alta capacidade de resposta, o processamento contínuo em lotes funciona.

O FlashAttention acelera os LLMs por meio de melhores mecanismos de atenção. Ele reestrutura a computação da atenção para reduzir os gargalos na largura de banda da memória. Seu modelo pode processar sequências maiores e contextos maiores com mais eficiência. Isso ajuda quando você está trabalhando com grandes quantidades de dados ou gerando saídas longas.

Suas opções de hardware e configuração são importantes. Use GPUs com cache kv suficiente e otimize sua hierarquia de memória. Escolha o tamanho certo do modelo e a duração da sequência para o que você está construindo. Você equilibrará velocidade, custo e qualidade de saída. Modelos maiores geralmente oferecem melhores resultados, mas precisam de mais recursos. Modelos menores funcionam mais rápido e custam menos.

Combine quantização, dosagem contínua e técnicas como FlashAttention. Você obterá melhor desempenho, menor latência e custos reduzidos para seus grandes modelos de linguagem. Entenda as vantagens e desvantagens e adapte sua abordagem às suas necessidades específicas. Você pode oferecer serviços de IA generativos mais rápidos e eficientes sem gastar mais com hardware.

Um plano de teste que detecta os problemas reais

1. Conjunto de sementes — 30—60 avisos reais (curtos + longos). Por exemplo, um prompt curto pode gerar uma saída muito maior do que sua entrada, ilustrando como o tamanho da saída pode diferir significativamente do tamanho da entrada.
2. Rampa — aumente o RPS até TTFT p95 cruza seu alvo. Ao medir TTFT/TPS, observe que os tokens são processados durante a inferência, e os tokens de saída por segundo são uma métrica de geração de chaves.
3. Misturar — combine instruções curtas e longas para expor questões de justiça.
4. Cancele tempestades — garanta que o KV‑cache seja liberado rapidamente ao abortar.
5. Troca a quente — alterar modelo/quantização; comparar TTFT/TPS e qualidade com modelos anteriores. Ao testar, inclua novos modelos para avaliar as melhorias.
6. Broca de falha — elimine um nó; verifique as novas tentativas e as mensagens do usuário.

Acompanhe o progresso em várias iterações de teste para monitorar melhorias e identificar problemas. Ao analisar os resultados, revise o conteúdo gerado quanto à qualidade e relevância. Esteja ciente de um erro comum no planejamento de testes: presumir que a quantização acelera principalmente os cálculos, quando na verdade ela melhora principalmente a eficiência da memória e a largura de banda. Durante a tokenização, lembre-se de que os tokens podem representar uma palavra, parte de uma palavra ou pontuação, o que afeta a forma como os dados são processados e avaliados.

Experimente o Compute hoje: Execute um vLLM servidor conectado Computar. Coloque-o perto de dois usuários, assista TTFT/TPS e escale somente quando os números indicarem.

Corrija TTFT e TPS antes de comprar mais GPU

Comece com avisos, limites e streaming e concentre-se na otimização dessas áreas antes de considerar as atualizações de hardware. Mantenha o cache saudável e os lotes estáveis. Coloque o endpoint próximo aos usuários. Quando TTFT gotas e tokens/segundo subindo, você resolveu o problema real, não apenas o mascarou com hardware.

PERGUNTAS FREQUENTES

O que é TTFT e por que isso importa?

O primeiro token é quando os usuários sentem a velocidade. O TTFT sinaliza grandes avisos, caches frios ou regiões distantes.

Como faço para obter mais TPS sem prejudicar a latência?

Mantenha as saídas curtas, crie lotes para muitas decodificações pequenas e imponha limites de reconhecimento de tokens para que trabalhos grandes não deixem outras pessoas famintas.

Contextos mais longos sempre ajudam?

Não. Contextos longos aumentam os custos e o TTFT. Use a recuperação para manter as solicitações curtas.

Quando devo migrar para várias GPUs?

Somente quando o modelo ou o cache não cobrem mais e você já tiver ajustado os prompts, os limites e o agendamento.

Como você sabe se o cache kv é o problema?

Veja o espaço livre de memória da GPU e a taxa de conversão do cache. Se o TTFT aumentar enquanto o espaço livre diminui, restrinja o contexto e limpe os fluxos bloqueados.

‍