Supermicro ने IBM और NVIDIA के साथ मिलकर इन्फ़रेंस (अनुमान) प्रदर्शन में उल्लेखनीय लाभ प्रदर्शित करते हुए KV Cache Solution लॉन्च किया

• KV (मुख्य-मूल्य) कैशे समाधान में Supermicro Petascale स्टोरेज सर्वरों, IBM Storage Scale सॉफ्टवेयर, NVIDIA Dynamo इन्फरेंस सॉफ्टवेयर और NVIDIA Spectrum-X Ethernet स्विचों को एकीकृत करता है
• प्रदर्शन परीक्षण से पता चलता है कि KV कैशे समाधान, बिना KV कैशे वाले सिस्टमों की तुलना में, विस्तृत-संदर्भ विंडो के लिए Time-to-First-Token (TTFT) को कम करता है
• ग्राहक उच्चतर GPU उपयोग, थ्रूपुट और इंफ्रास्ट्रक्चर की स्केलेबिलिटी के माध्यम से इन्फ़रेंस दक्षता में काफी सुधार कर सकते हैं

सैन जोस, कैलिफ़ोर्निया, 5 नवंबर, 2026 /PRNewswire/ -- Supermicro, Inc. (NASDAQ: SMCI), जो AI, एंटरप्राइज, स्टोरेज और 5G/एज के लिए संपूर्ण IT समाधान प्रदाता है और Data Center Building Block Solutions® (DCBBS) की सुविधा प्रदान करता है, ने आज IBM और NVIDIA के साथ एक नए KV कैशे स्टोरेज समाधान की घोषणा की है। इस संयुक्त समाधान में AMD EPYC 9005 सीरीज प्रोसेसरों ("Turin") का उपयोग करते हुए Supermicro Petascale ऑल-फ्लैश स्टोरेज सर्वरों, IBM Storage Scale सॉफ्टवेयर, के साथ-साथ NVIDIA Dynamo इन्फरेंस फ्रेमवर्क सॉफ्टवेयर और Spectrum-X Ethernet नेटवर्किंग को एकीकृत किया गया है।

ये टेक्नोलॉजियाँ मिलकर उद्यमों द्वारा एजेंटिक और विस्तृत-संदर्भ वाले AI कार्यप्रवाहों को अपनाने से एक महत्वपूर्ण लाभ प्रस्तुत करते हुए, AI मॉडलों द्वारा प्रतिक्रिया उत्पन्न करने में लगने वाले समय को नाटकीय रूप से कम कर सकती हैं। KV कैशे सामग्री की उच्च उपलब्धता और KV कैशे क्षमता की गैर-बाधाकारी स्केलिंग को सक्षम करते हुए, स्थानीय GPU मेमोरी के अतिरिक्त KV कैशे क्षमता का विस्तार करने से GPU उपयोग और इन्फ़रेंस थ्रूपुट में सुधार किया जा सकता है। इसका परिणाम तेज और अधिक प्रतिक्रियाशील AI अनुभव प्रदान करने वाला एक अधिक स्केलेबल, आत्मनिर्भर इन्फ़रेंस आर्किटेक्चर है।

"AI कार्यभार प्रशिक्षण से लेकर इन्फ़रेंस तक विस्तार करते हुए, एजेंटिक AI और विस्तृत-संदर्भ वाले, बहु-चरणीय जनरेटिव AI की विशेषता वाले उच्च-थ्रूपुट इन्फ़रेंस कार्यभारों को परिनियोजित करने वाले उद्यमों और नियोक्लाउड को GPU दक्षता में सुधार करने के लिए बाधाओं को दूर करने की आवश्यकता होती है," Supermicro के अध्यक्ष और CEO, Charles Liang, ने कहा। "IBM और NVIDIA के साथ हमारा समाधान इन कार्यदक्षता के लाभों को स्पष्ट रूप से प्रदर्शित करता है।"

इस विज्ञप्ति के वीडियो सारांश के लिए, यहां क्लिक करें।

इन्फ़रेंस कार्यभारों में दो चरण होते हैं: पहले से भरा रखें और डिकोड करें। इन्फ़रेंस के लिए आवश्यक मध्यवर्ती मुख्य-मूल्य (KV) अवस्थाएँ उत्पन्न कर सकने के लिए, पहले से भरे रखने के दौरान, इनपुट टेक्स्ट को टोकनों में परिवर्तित किया जाता है और LLM द्वारा प्रोसेस किया जाता है। पहले से गणना की गई इन KV स्थितियों को एक स्थायी KV कैशे में संग्रहीत करके, सिस्टम बाद के अनुरोधों के लिए उसी संदर्भ की पुन: गणना करने के बजाय उनका पुन: उपयोग कर सकता है। एजेंटिक कार्यभारों, कोडिंग सहायकों, विस्तृत-संदर्भ RAG, मल्टीमॉडल AI और मल्टी-टर्न एप्लिकेशनें बड़े कोडबेस, दस्तावेज़, वार्तालाप, चित्र और अन्य संदर्भों को प्रोसेस करते समय पर्याप्त KV स्थिति उत्पन्न कर सकते हैं, जिससे GPU और CPU मेमोरी जल्दी ही भर जाती है और KV कैशे को उच्च क्षमता वाले, साझा नेटवर्क स्टोरेज में स्थानांतरित करने की आवश्यकता उत्पन्न होती है।

अनावश्यक गणना को कम करते हुए इन्फ़रेंस दक्षता, थ्रूपुट और स्केलेबिलिटी को बेहतर बनाने में सहायता करते हुए, Supermicro, IBM और NVIDIA का KV कैशे समाधान एक स्थायी स्टोरेज परत प्रदान करता है।

KV कैशे समाधान के मुख्य ग्राहक लाभों में निम्न शामिल हैं:

• संयुक्त समाधान सत्यापन – Supermicro, IBM और NVIDIA ने उच्च-समवर्तीता और शोरगुल-वाले-पड़ोसी नेटवर्क ट्रैफ़िक परिदृश्यों सहित प्रदर्शन को मापने के लिए व्यापक क्लस्टर-स्तरीय परीक्षण आयोजित किए थे।
• नाटकीय रूप से तेज़ और अधिक एक-जैसे इन्फ़रेंस प्रदर्शन – Supermicro और NVIDIA के संयुक्त परीक्षण में, एक 120-बिलियन-पैरामीटर LLM के साथ, स्थाई KV कैशे ने 130,000-टोकन प्रॉमप्टों पर 56x तक तेज़ TTFT डिलीवर किए थे।^[1]  जैसे-जैसे इनपुट लंबाई 30,000 से 130,000 टोकनों तक बढ़ी, KV कैशे के साथ TTFT में केवल 0.377 सेकंड की वृद्धि हुई, जबकि इसके बिना 29.55 सेकंड की वृद्धि हुई, जिससे विस्तृत-संदर्भ कार्यभारों के लिए एक जैसा प्रदर्शन सक्षम हो पाया था।
• उच्च GPU उपयोग और थ्रूपुट – GPU मेमोरी के बाहर बार-बार पुन: उपयोग किए जाने वाले संदर्भ को उपलब्ध रखकर, समाधान GPU निष्क्रिय समय को कम करने, इन्फ़रेंस थ्रूपुट को बढ़ाने और GPU संसाधनों को आनुपातिक रूप से बढ़ाए बिना अधिक समवर्तीता का समर्थन करने में सहायता करता है।
• एंटरप्राइज आत्मनिर्भरता और विश्वसनीय AI संचालन – एक स्थायी, उच्च उपलब्धता KV कैशे, पहले से कैशे किए गए इन्फ़रेंस स्थिति की सुरक्षा में सहायता करने के साथ-साथ GPU के नोड और क्लस्टर में साझा पहुंच प्रदान करके बड़े पैमाने पर अधिक आत्मनिर्भर और स्टोरेज-कुशल AI सेवाओं का समर्थन करता है।
• मान्य, टर्नकी AI इंफ्रास्ट्रक्चर – NVIDIA Dynamo, IBM Storage Scale सॉफ्टवेयर, Supermicro Petascale, सर्वरों और NVIDIA Spectrum-X नेटवर्किंग को संयोजित करते हुए, Supermicro, IBM और NVIDIA ने संयुक्त रूप से उच्च-समवर्ती और शोर-वाले-पड़ोस के परिदृश्यों में एकीकृत आर्किटेक्चर को सत्यापित किया है।
• त्वरित परिनियोजन सेवाएँ – Supermicro की फ़ैक्टरी रैक एकीकरण और ऑन-साइट परिनियोजन सेवाएँ इस समाधान के परिनियोजन समय को सप्ताहों से दिनों तक कम कर सकती हैं।

"उद्यमों द्वारा AI इन्फ़रेंस को बढ़ाने के लिए एक मौलिक रूप से बेहतर तरीके की आवश्यकता होती है।" IBM Storage के महाप्रबंधक, Sam Werner, ने कहा, "IBM, Supermicro और NVIDIA मिलकर एक उच्च-प्रदर्शन, आत्मनिर्भर KV कैशे समाधान प्रदान कर रहे हैं जो ग्राहकों को उनके GPU निवेश को अधिकतम करने, कंप्यूट से स्वतंत्र रूप से स्केल करने और इंफ्रास्ट्रक्चर की दक्षता में काफी सुधार करने में सहायता करता है। यह सहयोग उद्यम AI इन्फ़रेंस को अधिक स्केलेबल, विश्वसनीय और लागत प्रभावी बनाने की दिशा में एक महत्वपूर्ण कदम है।"

"एजेंटिक AI और विस्तृत-संदर्भ एप्लिकेशनें कई चरणों में संदर्भ का कुशलतापूर्वक पुन: उपयोग करने पर निर्भर करती हैं, और NVIDIA Dynamo वितरित इन्फ़रेंस को व्यवस्थित करने में सहायता करता है ताकि उद्यम प्रत्येक GPU से अधिक उपयोगी थ्रूपुट प्राप्त कर सकें," NVIDIA AI Inference Product Lead, Shruti Koparkar, ने कहा। "NVIDIA Dynamo और Spectrum-X Ethernet को Supermicro Petascale स्टोरेज सर्वरों और IBM Storage Scale के साथ मिलाकर, यह KV कैशे समाधान एक उच्च-प्रदर्शन साझा स्टोरेज टियर बनाता है जो अनावश्यक गणना को कम, पहले टोकन तक पहुंचने में लगने वाले समय को बेहतर और ग्राहकों को आत्मनिर्भर AI इन्फ़रेंस सेवाओं को बढ़ाने में सहायता कर सकता है।"

Supermicro और IBM समाधानों के बारे में अधिक जानकारी के लिए यहां क्लिक करें, और IBM Redbook,Context को बिना सीमाओं के पढ़ने के लिए: बड़े पैमाने पर AI इन्फ़रेंस के लिए एक High-Performance KV Cache Platform, पर क्लिक करें।

Super Micro Computer, Inc. का परिचय
Supermicro (NASDAQ: SMCI) एप्लीकेशन-अनुकूलित टोटल IT समाधानों की एक वैश्विक अग्रणी कंपनी है। सैन जोस, कैलिफ़ोर्निया में संस्थापित और संचालित Supermicro, एंटरप्राइज़, क्लाउड, AI और 5G Telco/Edge IT इंफ्रास्ट्रक्चर के लिए मार्केट में सबसे पहले नवाचार प्रदान करने के लिए प्रतिबद्ध है। हम सर्वर, AI, स्टोरेज, IoT, स्विच सिस्टमों, सॉफ्टवेयर और सहायता सेवाओं से युक्त एक टोटल IT समाधान प्रदाता हैं। हमारे वैश्विक ग्राहकों के लिए क्लाउड से लेकर एज तक अगली पीढ़ी के नवाचार को सक्षम बनाने के लिए Supermicro की मदरबोर्ड, पॉवर और चेसिस डिज़ाइन विशेषज्ञता हमारे विकास और उत्पादन को और अधिक सक्षम बनाती है। हमारे उत्पादों का हमारे पैमाने और कार्यकुशलता के लिए वैश्विक संचालन का लाभ उठाते हुए TCO में सुधार और पर्यावरणीय प्रभाव (Green Computing) को कम करने के लिए अनुकूलित कार्यस्थलों के भीतर (अमेरिका, एशिया और नीदरलैंड में) ही डिज़ाइन और निर्माण किया जाता है। Server Building Block Solutions® का पुरस्कार-विजेता पोर्टफ़ोलियो हमारे फ़ार्म फ़ैक्टरों, प्रोसेसरों, मेमोरी, GPUs, स्टोरेज, नेटवर्किंग, पॉवर और कूलिंग समाधानों (वातानुकूलित, निर्बाध एयर कूलिंग या लिक्विड कूलिंग) के सर्वसमावेशी सैट को सपोर्ट करने वाले सहज और पुन: प्रयोज्य बिल्डिंग ब्लॉकों से निर्मित सिस्टमों के व्यापक परिवार से चयन करके ग्राहकों के सटीक कार्यभार और एप्लिकेशन के लिए अनुकूल बनाने में उनकी सहायता करता है।

Supermicro, Server Building Block Solutions और We Keep IT Green, Super Micro Computer, Inc. के ट्रेडमार्क और/या पंजीकृत ट्रेडमार्क हैं।

अन्य सभी ब्रांड, नाम और ट्रेडमार्क उनके संबंधित स्वामियों की परिसंपत्ति है।

¹ परिणाम IBM Redbook में विस्तृत रूप से दिए गए हैं: https://www.redbooks.ibm.com/docs/MD260021/MD260021.html