Supermicro lança solução de cache KV com a IBM e a NVIDIA demonstrando os benefícios significativos em desempenho de inferência

• A solução de cache KV (chave-valor) integra servidores de armazenamento Supermicro Petascale, software IBM Storage Scale, software de inferência NVIDIA Dynamo e switches NVIDIA Spectrum-X de rede Ethernet
• Os testes de desempenho demonstram que a solução de cache KV reduz o tempo até o primeiro token (TTFT) para janelas de contexto longo em comparação com sistemas sem cache KV
• Os clientes podem aprimorar drasticamente a eficiência da inferência por meio de maior utilização da GPU, maior taxa de transferência e escalabilidade da infraestrutura

SAN JOSE, Califórnia, 5 de novembro de 2026 /PRNewswire/ -- A Supermicro, Inc. (NASDAQ: SMCI), provedora de soluções completas de TI em IA, empresas, armazenamento e 5G/borda com a tecnologia Data Center Building Block Solutions® (DCBBS, soluções modulares para construção de data centers), anunciou hoje uma nova solução de armazenamento em cache KV com a IBM e a NVIDIA. A solução conjunta integra servidores de armazenamento all-flash Supermicro Petascale usando processadores AMD EPYC série 9005 ("Turin"), software IBM Storage Scale, juntamente com o software de estrutura de inferência NVIDIA Dynamo e rede Ethernet Spectrum-X.

Em conjunto, essas tecnologias podem reduzir drasticamente o tempo necessário para que os modelos de IA comecem a gerar uma resposta, uma vantagem crucial, à medida que as empresas adotam fluxos de trabalho de IA orientados para agentes e de contexto longo. Estender a capacidade do cache KV além da memória local da GPU pode melhorar a utilização da GPU e o rendimento de inferência, ao mesmo tempo que permite alta disponibilidade do conteúdo do cache KV e escalonamento não disruptivo da capacidade do cache KV. O resultado é uma arquitetura de inferência mais escalável e resiliente que proporciona experiências de IA mais rápidas e responsivas.

"À medida que as cargas de trabalho de IA se expandem do treinamento para a inferência, as empresas e as neoclouds que implementam cargas de trabalho de inferência de alto desempenho, características da IA agêntica e da IA generativa de longo contexto e múltiplas etapas, precisam eliminar os gargalos para melhorar a eficiência da GPU", disse Charles Liang, presidente e CEO da Supermicro. "Nossa solução com a IBM e a NVIDIA demonstra claramente esses benefícios de desempenho."

Para um resumo em vídeo deste lançamento, clique aqui.

As cargas de trabalho de inferência consistem em duas fases: preencher e decodificar. Durante o preenchimento automático, o texto de entrada é convertido em tokens e processado pelo LLM para gerar os estados intermediários de chave-valor (KV) necessários para a inferência. Ao armazenar esses estados KV previamente calculados em um cache KV persistente, o sistema pode reutilizá-los em vez de recalcular o mesmo contexto para solicitações subsequentes. Fluxos de trabalho agênticos, assistentes de codificação, RAG de contexto longo, IA multimodal e aplicações de múltiplas interações podem gerar um estado KV substancial ao processarem grandes bases de código, documentos, conversas, imagens e outros contextos, excedendo rapidamente a memória da GPU e da CPU e criando a necessidade de transferir o cache KV para um armazenamento em rede compartilhado de alta capacidade.

A solução de cache KV da Supermicro, IBM e NVIDIA oferece essa camada de armazenamento persistente, ajudando a melhorar a eficiência da inferência, a taxa de transferência e a escalabilidade, ao mesmo tempo que reduz a computação redundante.

Os principais benefícios da solução de cache KV para o cliente incluem:

• Validação da solução conjunta – A Supermicro, a IBM e a NVIDIA realizaram extensos testes em nível de cluster para medir o desempenho, incluindo cenários de alta concorrência e tráfego de rede de vizinhos ruidosos.
• Desempenho de inferência dramaticamente mais rápido e consistente – Em testes conjuntos da Supermicro e da NVIDIA, com um LLM de 120 bilhões de parâmetros, o cache KV persistente proporcionou um TTFT até 56 vezes mais rápido em prompts de 130.000 tokens.^[1] Conforme o tamanho da entrada aumentava de 30.000 para 130.000 tokens, o TTFT aumentava apenas 0,377 segundo com o cache KV, em comparação com 29,55 segundos sem ele, proporcionando um desempenho mais consistente para cargas de trabalho de contexto longo.
• Maior utilização e taxa de transferência da GPU – Ao manter o contexto frequentemente reutilizado disponível fora da memória da GPU, a solução ajuda a reduzir o tempo de ociosidade da GPU, aumentar a vazão de inferência e suportar uma maior concorrência, sem aumentar proporcionalmente os recursos da GPU.
• Resiliência empresarial e operações de IA confiáveis – Um cache KV persistente e altamente disponível ajuda a proteger o estado de inferência em cache, ao mesmo tempo que fornece acesso compartilhado entre nós e clusters de GPU, viabilizando serviços de IA mais resilientes e eficientes em termos de armazenamento em grande escala.
• Infraestrutura de IA validada e pronta para uso – A Supermicro, a IBM e a NVIDIA validaram, em conjunto, a arquitetura integrada em cenários de alta concorrência e de interferência entre cargas de trabalho (o chamado problema do "vizinho barulhento"), combinando o NVIDIA Dynamo, o software IBM Storage Scale, servidores Supermicro Petascale e a tecnologia de rede NVIDIA Spectrum-X.
• Serviços de implantação acelerada – Os serviços de integração de rack de fábrica e implantação no local da Supermicro podem reduzir o tempo de implantação desta solução de semanas para dias.

"As empresas precisam de uma maneira fundamentalmente melhor de dimensionar a inferência de IA. Juntas, a IBM, a Supermicro e a NVIDIA oferecem uma solução de cache KV resiliente e de alto desempenho que ajuda os clientes a maximizar seus investimentos em GPUs, a escalar independentemente da capacidade computacional e a melhorar significativamente a eficiência da infraestrutura", disse Sam Werner, gerente geral da IBM Storage. "Essa colaboração representa um passo importante para tornar a inferência de IA empresarial mais escalável, confiável e econômica."

"A IA agêntica e as aplicações de contexto longo dependem da reutilização eficiente do contexto em várias etapas, e o NVIDIA Dynamo ajuda a orquestrar a inferência distribuída para que as empresas possam obter uma taxa de transferência mais utilizável de cada GPU", disse Shruti Koparkar, líder de produto de inferência de IA da NVIDIA. "Ao combinar o NVIDIA Dynamo e o Spectrum-X Ethernet com os servidores de armazenamento Supermicro Petascale e IBM Storage Scale, esta solução de cache KV cria uma camada de armazenamento compartilhado de alto desempenho que pode reduzir a computação redundante, melhorar o tempo até o primeiro token e ajudar os clientes a dimensionar serviços de inferência de IA resilientes."

Para obter mais informações sobre as soluções da Supermicro e da IBM, clique aqui; para ler o IBM Redbook, Context without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference (Contexto sem limites: uma plataforma de cache KV de alto desempenho para inferência de IA em grande escala), clique aqui.

Sobre a Super Micro Computer, Inc.
A Supermicro (NASDAQ: SMCI) é líder mundial em soluções completas de TI otimizadas para aplicativos. Fundada e operando em San José, Califórnia, a Supermicro está comprometida em oferecer inovação pioneira no mercado para infraestrutura corporativa, nuvem, IA e TI 5G de telecomunicações/borda. Somos uma provedora de soluções completas de TI com servidores, IA, armazenamento, IoT, sistemas de comutadores, software e serviços de suporte. A experiência da Supermicro em desenvolver placas-mãe, alimentação e chassi permite ainda mais nosso desenvolvimento e produção, que possibilita a inovação de última geração da nuvem à borda para nossos clientes ao redor do mundo. Nossos produtos são projetados e fabricados internamente (nos EUA, Taiwan e Países Baixos), aproveitando as operações internacionais para obter escala e eficiência, sendo otimizados para melhorar o custo total de propriedade (TCO) e reduzir o impacto ambiental (computação ecológica). O premiado portfólio do Server Building Block Solutions® permite que os clientes otimizem sua carga de trabalho e aplicação com exatidão ao selecionar entre uma ampla família de sistemas formados a partir de nossos blocos de construção flexíveis e reutilizáveis, os quais suportam um conjunto abrangente de soluções de fatores de forma, processadores, memória, GPUs, armazenamento, rede, energia e resfriamento (ar-condicionado, resfriamento ao ar livre ou resfriamento a líquido).

Supermicro, Server Building Block Solutions e We Keep IT Green são marcas comerciais ou marcas registradas da Super Micro Computer, Inc.

Todas as outras marcas, nomes e marcas registradas são propriedade de seus respectivos proprietários.

¹Resultados detalhados no IBM Redbook: https://www.redbooks.ibm.com/docs/MD260021/MD260021.html

FONTE Super Micro Computer, Inc.