Supermicro lanceert samen met IBM en NVIDIA een KV-cacheoplossing die aanzienlijke prestatievoordelen bij AI-inferentie oplevert

• De KV-cacheoplossing (key-value-cache) integreert Supermicro Petascale-opslagservers, IBM Storage Scale-software, NVIDIA Dynamo-inferentiesoftware en NVIDIA Spectrum-X Ethernet-switches.
• Prestatietests tonen aan dat de KV-cacheoplossing de tijd tot het eerste token (Time-to-First-Token, TTFT) bij lange contextvensters verkort in vergelijking met systemen zonder KV-cache.
• Klanten kunnen de efficiëntie van AI-inferentie aanzienlijk verbeteren dankzij een hogere GPU-benuttingsgraad, een grotere doorvoercapaciteit en een beter schaalbare infrastructuur.

SAN JOSE, Californië, 5 november 2026 /PRNewswire/ -- Supermicro, Inc. (NASDAQ: SMCI), een totaalaanbieder van IT-oplossingen voor AI, ondernemingen, opslag en 5G/edge met Data Center Building Block Solutions® (DCBBS), heeft vandaag een nieuwe KV-cacheopslagoplossing aangekondigd die samen met IBM en NVIDIA is ontwikkeld. De gezamenlijke oplossing integreert Supermicro Petascale all-flash-opslagservers met AMD EPYC 9005-serieprocessoren ('Turin'), IBM Storage Scale-software, de NVIDIA Dynamo-software voor het beheer van inferentie en Spectrum-X Ethernet-netwerktechnologie.

Samen kunnen deze technologieën de tijd die AI-modellen nodig hebben om een antwoord te beginnen genereren aanzienlijk verkorten. Dat is een belangrijk voordeel nu ondernemingen steeds vaker agentische AI-workflows en AI-workflows met lange contexten toepassen. Door de KV-cachecapaciteit uit te breiden tot buiten het lokale GPU-geheugen kunnen de GPU-benuttingsgraad en de inferentiedoorvoercapaciteit worden verbeterd. Tegelijkertijd wordt een hoge beschikbaarheid van de KV-cache-inhoud mogelijk gemaakt en kan de KV-cachecapaciteit worden opgeschaald zonder onderbreking van de dienstverlening. Het resultaat is een beter schaalbare en robuustere inferentiearchitectuur die snellere en responsievere AI-ervaringen biedt.

"Nu AI-workloads zich uitbreiden van training naar inferentie, moeten ondernemingen en neocloudproviders die inferentieworkloads met een hoge doorvoercapaciteit implementeren, zoals die kenmerkend zijn voor agentische AI en generatieve AI met lange contexten en meerdere interactierondes, knelpunten wegnemen om de GPU-efficiëntie te verbeteren", aldus Charles Liang, president en CEO van Supermicro. "Onze oplossing met IBM en NVIDIA toont deze prestatievoordelen duidelijk aan."

Klik hier voor een videosamenvatting van dit persbericht.

Inferentieworkloads bestaan uit twee fasen: prefill en decode. Tijdens de prefill-fase wordt de invoertekst omgezet in tokens en verwerkt door het grote taalmodel (LLM), dat de tussentijdse key-value-toestanden (KV-toestanden) genereert die nodig zijn voor inferentie. Door deze eerder berekende KV-toestanden op te slaan in een permanente KV-cache, kan het systeem ze opnieuw gebruiken in plaats van dezelfde context bij volgende verzoeken opnieuw te berekenen. Agentische workflows, programmeerassistenten, retrieval-augmented generation (RAG) met lange contexten, multimodale AI en toepassingen met meerdere interactierondes kunnen aanzienlijke hoeveelheden KV-toestandsgegevens genereren wanneer ze grote codebases, documenten, gesprekken, afbeeldingen en andere context verwerken. Daardoor kan de capaciteit van het GPU- en CPU-geheugen snel worden overschreden, waardoor het noodzakelijk wordt de KV-cache onder te brengen in gedeelde netwerkopslag met een hoge capaciteit.

De KV-cacheoplossing van Supermicro, IBM en NVIDIA biedt deze permanente opslaglaag en helpt zo de inferentie-efficiëntie, doorvoercapaciteit en schaalbaarheid te verbeteren en overbodige berekeningen te verminderen.

De belangrijkste voordelen van de KV-cacheoplossing voor klanten zijn:

• Gezamenlijke validatie van de oplossing – Supermicro, IBM en NVIDIA hebben uitgebreide tests op clusterniveau uitgevoerd om de prestaties te meten, onder meer in scenario's met veel gelijktijdige verzoeken en netwerkverkeer waarbij andere workloads de prestaties kunnen beïnvloeden ('noisy neighbors').
• Aanzienlijk snellere en consistentere inferentieprestaties – Bij gezamenlijke tests van Supermicro en NVIDIA met een LLM van 120 miljard parameters leverde een permanente KV-cache een tot 56 keer kortere TTFT op bij prompts van 130.000 tokens.[1] Toen de invoerlengte toenam van 30.000 tot 130.000 tokens, steeg de TTFT met slechts 0,377 seconden met KV-cache, tegenover 29,55 seconden zonder KV-cache. Dit zorgt voor consistentere prestaties bij workloads met lange contexten.
• Hogere GPU-benuttingsgraad en doorvoercapaciteit – Door veelgebruikte context buiten het GPU-geheugen beschikbaar te houden, helpt de oplossing de inactieve tijd van GPU's te verminderen, de inferentiedoorvoercapaciteit te verhogen en meer gelijktijdige verzoeken te verwerken zonder dat de GPU-capaciteit evenredig moet worden uitgebreid.
• Robuustheid voor ondernemingen en betrouwbare AI-activiteiten – Een permanente KV-cache met hoge beschikbaarheid helpt opgeslagen inferentietoestanden te beschermen en biedt tegelijkertijd gedeelde toegang voor meerdere GPU-nodes en -clusters. Zo ondersteunt de oplossing robuustere AI-diensten die op grote schaal kunnen worden ingezet en efficiënter gebruikmaken van opslagcapaciteit.
• Gevalideerde, kant-en-klare AI-infrastructuur – Supermicro, IBM en NVIDIA hebben de geïntegreerde architectuur gezamenlijk gevalideerd in scenario's met veel gelijktijdige verzoeken en 'noisy neighbors'. De architectuur combineert NVIDIA Dynamo, IBM Storage Scale-software, Supermicro Petascale-servers en NVIDIA Spectrum-X-netwerktechnologie.
• Versnelde implementatiediensten – Dankzij de rackintegratie in de fabriek en de implementatiediensten op locatie van Supermicro kan de implementatietijd van deze oplossing worden teruggebracht van weken tot dagen.

"Ondernemingen hebben een fundamenteel betere manier nodig om AI-inferentie op te schalen. Samen leveren IBM, Supermicro en NVIDIA een krachtige en robuuste KV-cacheoplossing waarmee klanten het maximale uit hun GPU-investeringen kunnen halen, hun opslagcapaciteit onafhankelijk van de rekencapaciteit kunnen opschalen en de efficiëntie van hun infrastructuur aanzienlijk kunnen verbeteren", aldus Sam Werner, General Manager van IBM Storage. "Deze samenwerking is een belangrijke stap om AI-inferentie voor ondernemingen schaalbaarder, betrouwbaarder en kostenefficiënter te maken."

"Agentische AI en toepassingen met lange contexten zijn afhankelijk van het efficiënt hergebruiken van context over meerdere stappen. NVIDIA Dynamo helpt gedistribueerde inferentie te coördineren, zodat ondernemingen meer bruikbare doorvoercapaciteit uit elke GPU kunnen halen", aldus Shruti Koparkar, AI Inference Product Lead bij NVIDIA. "Door NVIDIA Dynamo en Spectrum-X Ethernet te combineren met Supermicro Petascale-opslagservers en IBM Storage Scale, creëert deze KV-cacheoplossing een krachtige gedeelde opslaglaag die overbodige berekeningen kan verminderen, de tijd tot het eerste token kan verkorten en klanten kan helpen robuuste AI-inferentiediensten op te schalen."

Klik hier voor meer informatie over de oplossingen van Supermicro en IBM. Klik hier  om het IBM Redbook Context without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference te lezen.

Over Super Micro Computer, Inc.
Supermicro (NASDAQ: SMCI) is een wereldleider in toepassingsgeoptimaliseerde, complete IT-oplossingen. Supermicro, opgericht en gevestigd in San Jose, Californië, zet zich in voor het als eerste op de markt brengen van innovaties op het gebied van Enterprise-, Cloud-, AI- en 5G Telco/Edge-IT-infrastructuur. Wij zijn een leverancier van complete IT-oplossingen met servers, AI-, opslag-, IoT- en switchsystemen, software en ondersteuningsdiensten. De expertise van Supermicro op het gebied van moederbord-, voedings- en chassisontwerp ondersteunt onze ontwikkeling en productie en maakt innovatie van de volgende generatie mogelijk, van cloud tot edge, voor onze klanten wereldwijd. Onze producten worden in eigen huis ontworpen en geproduceerd (in de VS, Taiwan en Nederland), waarbij gebruik wordt gemaakt van wereldwijde activiteiten voor schaalbaarheid en efficiëntie. Daarnaast zijn ze geoptimaliseerd om de TCO te verbeteren en de impact op het milieu te beperken (Green Computing). Met het bekroonde portfolio van Server Building Block Solutions® kunnen klanten hun systemen optimaal afstemmen op hun exacte workload en toepassing door te kiezen uit een uitgebreide reeks systemen die zijn opgebouwd uit flexibele en herbruikbare bouwstenen. Deze ondersteunen een breed scala aan vormfactoren, processors, geheugen, GPU's, opslag-, netwerk-, voedings- en koelingsoplossingen (airconditioning, vrije luchtkoeling of vloeistofkoeling).

Supermicro, Server Building Block Solutions en We Keep IT Green zijn handelsmerken en/of gedeponeerde handelsmerken van Super Micro Computer, Inc.

Alle overige merken, namen en handelsmerken zijn eigendom van hun respectieve eigenaars.

¹De resultaten worden uitgebreid beschreven in het IBM Redbook: https://www.redbooks.ibm.com/docs/MD260021/MD260021.html