NVIDIA HGX B300 GPU और WEKA NeuralMesh पर Nebius NeuralMesh के साथ आठ घंटे के बेंचमार्क को लागू किए जाने की तरह, नई NAND Research रिपोर्ट उपयोगी कार्य द्वारा इंफरेंस इंफ्रास्ट्रक्चर को मापने हेतु एक नया Inference Economics Scorecard प्रस्तुत करते हुए व्यस्त GPUs को उत्पादक आउटपुट का सटीक माप न प्रस्तुत करने को रेखांकित करती है।
शिकागो, 18 नवंबर, 2026 /PRNewswire/ -- Supercomputing 2026: WEKA, AI डेटा और मेमोरी इन्फ्रास्ट्रक्चर कंपनी, ने मार्केट इंटेलिजेंस फर्म NAND Research के सहयोग से आज GPUs को कितना व्यस्त रखने के स्थान पर इसके द्वारा प्रदत उपयोगी कार्य के आधार पर इंफरेंस इन्फ्रास्ट्रक्चर उत्पादकता और आर्थिक मूल्य को मापने के लिए एक नया सामान्य ढांचा, Inference Economics Scorecard प्रस्तुत किया है। स्कोरकार्ड में प्रति वाट टोकनों, इंफरेंस की लागत और संदर्भ प्रतिधारण सहित नौ मापदंड परिभाषित किए गए हैं। यह कम-से-कम आठ घंटे के परीक्षण और केवल सफल परिणामों की गणना सहित चार परीक्षण नियम निर्धारित करता है। AI क्लाउड कंपनी Nebius के साथ एक बेंचमार्क में पहले से ही लागू किया जा चुका है, यह ऐसे समय में आया है जब AI इंफ्रास्ट्रक्चर खर्च में अनुमान का हिस्सा लगातार बढ़ रहा है और खरीदार बिजली, मेमोरी और रैक-स्पेस की सीमाओं तक पहुंच रहे हैं।
खरीदार पहले से ही इंफरेंस को भिन्न तरीके से अपना रहे हैं, नई शोध ने पाया S&P Global के 451 Research के नए शोध से पता चलता है कि संगठन पहले से ही अनुकूलन कर रहे हैं, व अनुमान लगा रहे हैं कि 2026 में AI इंफ्रास्ट्रक्चर के खर्च 34% से बढ़कर 2030 तक 46% हो जाएंगे और यह खोज कर पर रहे हैं कि इंफरेंस चलाने वाले 41% संगठन अपने IT स्टैक के शेष हिस्सों की तुलना में अपने लिए मौलिक रूप से भिन्न इंफ्रास्ट्रक्चर खरीदते हैं।
S&P Global के 451 Research के वरिष्ठ विश्लेषक, Greg Macatee, ने कहा, "इंफरेंस ही वह बिंदु है जहां AI का मूल्य अंततः साकार होता है, और हमारा शोध दर्शाता है कि यह संगठनों द्वारा इंफ्रास्ट्रक्चर की खरीद के तरीके को नया आकार दे रहा है। एजेंटों द्वारा टोकन की मात्रा में तेजी से वृद्धि हो रही है; इस धारणा को मेमोरी, बिजली और सप्लाई की बाधाएं बहुत चुनौती देती हैं कि संगठन केवल अधिक GPUs को जोड़कर ही इस वृद्धि को बनाए रख सकते हैं।"
इंफरेंस के लिए GPU का उपयोग कम पड़ने का कारण?
कई वर्षों तक, प्रशिक्षण ही AI का प्रमुख कार्यभार रहा था। क्योंकि प्रशिक्षण से GPUs बड़े, प्रत्याशित कार्यों में व्यस्त रहते हैं, जिसके परिणामस्वरूप GPU की उपयोगिता AI इंफ्रास्ट्रक्चर उत्पादकता का डिफ़ॉल्ट माप बन गई है। इंफरेंस, विशेषत: एजेंटिक इंफरेंस, की GPUs से अत्यंत भिन्न प्रकार की आवश्यकताएं होती हैं। एक एजेंट केवल एक प्रॉम्प्ट का उत्तर नहीं देता; यह कई चरणों में एक कार्य पूरा करता है, और प्रत्येक चरण में यह उसके द्वारा पहले बनाए गए संदर्भ को दोबारा पढ़ता है। अन्य उपयोगकर्ताओं और सत्रों के लिए स्थान बनाने के लिए GPU द्वारा उस संदर्भ को मेमोरी से हटाने के बाद, कार्य के वापस आने पर उसे इसकी पुनर्गणना करनी होगी, और उस कार्य के पूरा होने तक यह कार्य आगे नहीं बढ़ता है। परिणामस्वरूप, एक पूर्णत: उपयोग किया गया परंतु अनुत्पादक GPU मिलता है, क्योंकि वह एक ही टोकन को कई बार पुन:कम्प्यूटिंग करने में कई चक्र बर्बाद करता है।
Inference Economics Scorecard उत्पादन पैमाने पर इंफरेंस सिस्टम को मापता है: कई समवर्ती उपयोगकर्ताओं के अनुरोधों का मिनटों के बजाय घंटों तक बने रहना।
"उद्योग इंफरेंस की ग्रेडिंग प्रशिक्षण-युग की रिपोर्ट कार्ड के आधार पर करता रहा है। GPU उपयोगिता आपको बताती है कि चिप व्यस्त थी। इससे आपको यह नहीं पता चल सकता है कि काम पूरा हुआ, दोहराया गया या फेंक दिया गया है या नहीं, और एजेंटों के साथ, इसमें से बहुत कुछ दोहराया जाता है," WEKA के सह-संस्थापक और CEO, Liran Zvibel ने कहा। "बिजली, सप्लाई और रैक स्पेस अब पूंजी जितनी ही बड़ी बाधाएं हैं। इंफरेंस इंफ्रास्ट्रक्चर के लिए आवश्यक नया गणित, आपके उपयोगकर्ताओं द्वारा अपेक्षित प्रतिक्रिया समयों पर, प्रति वाट, प्रति रैक, प्रति डॉलर पर आधारित उपयोगी कार्य है। Inference Economics Scorecard उस गणितीय गणना को पेपर पर प्रस्तुत करता है, और WEKA का मूल्यांकन भी अन्य सभी की तरह इसी के आधार पर किया जाएगा।"
व्यस्तता से उत्पादकता की ओर: स्कोरकार्ड की कार्यशैली Inference Economics Scorecard इंफरेंस प्रदर्शन और अर्थशास्त्र के नौ उपायों को परिभाषित करता है: टोकन प्रति वाट, टोकन प्रति रैक, लागत प्रति इंफरेंस, GPU गुडपुट, पहले टोकन तक का समय और शुरु-से-अंत-तक की विलंबता, मेमोरी दक्षता, परिचालन घनत्व, एजेंट समवर्तीता और संदर्भ प्रतिधारण। यह उनके विरुद्ध परीक्षण करने के लिए भी मानदंड निर्धारित करता है:
- परीक्षण किए गए प्रत्येक सिस्टम पर समान कार्यभार और सेवा लक्ष्य
- संपूर्ण सर्विंग स्टैक का माप
- कम-से-कम आठ घंटे का कार्य
- केवल सफल परिणामों की गणना
"AI इंफ्रास्ट्रक्चर में इस समय सबसे महंगी गलती पीक थ्रूपुट के लिए खरीदारी करना और बार-बार किए जाने वाले काम के लिए भुगतान करना है," NAND Research के प्रमुख विश्लेषक और संस्थापक, Steve McDowell ने कहा। "एजेंटिक कार्यभारों के कारण इस गलती का आसानी से हल हो सकता है, क्योंकि किसी लंबे कार्य के प्रत्येक चरण में उस संदर्भ को दोबारा पढ़ा जाता है जिसे एक व्यस्त GPU को पुन: शुरू से दोबारा बनाना पड़ सकता है। हमने स्कोरकार्ड को इस तरह से डिज़ाइन किया है ताकि खरीदार किसी भी सिस्टम को एक ही मानक पर परख सकें: प्रत्येक असफलता को गिनते हुए, घंटों में मापा गया गया समाप्त काम। Nebius बेंचमार्क से उस अनुशासन से परिणाम का पता चलता है, क्योंकि इसने पूरे आठ घंटे तक कार्य किया और असफल या टाइम आउट होने वाले प्रत्येक अनुरोध को गिना था।
इसका परीक्षण करना: इसका परीक्षण करना: वास्तविक एजेंट भार, आठ घंटों के लिए निरंतर
WEKA और Nebius ने हाल ही में NVIDIA HGX B300 सिस्टम पर एक संयुक्त बेंचमार्क में स्कोरकार्ड के नियमों को लागू किया है और कई उपायों पर परिणाम रिपोर्ट किए हैं। परीक्षण को DeepSeek-V4-Pro द्वारा प्रत्येक असफल और समय-समाप्त अनुरोध की गणना करते हुए, आठ घंटे प्रति कॉन्फ़िग्रेशन से प्राप्त किए गए 5,000 से अधिक वास्तविक एजेन्टिक कोडिंग सत्रों के 512 सक्रिय सत्रों के कॉर्पस से प्राप्त किए गए आठ-GPU नोड पर किया गया था।
एक साझा संदर्भ स्तर के रूप में क्लस्टर में NVMe को पूल करने वाली Augmented Memory Grid के साथ WEKA NeuralMesh का उपयोग करते हुए, नोड ने उन्हीं GPUs पर केवल-HBM सेवा की तुलना में प्रति GPU-घंटे पर 3.7x अधिक आउटपुट टोकन उत्पन्न किए, और सफलतापूर्वक पूर्ण किए गए अनुरोधों में से 97% ने पांच सेकंड के भीतर अपना पहला टोकन प्राप्त किया, जो पहले 44% था। केवल-HBM आधारित सेवा पर, 60% प्रीफिल कार्य को क्लस्टर द्वारा सत्र में पहले ही संसाधित संदर्भ से दोबारा गिना गया था; Augmented Memory Grid के साथ, यह 6.8% था। मापी गई दर पर, Augmented Memory Grid द्वारा आठ घंटे में किए गए उत्पादन के लिए केवल-HBM नोड को लगभग 30 घंटे का समय लगेगा। पूरा बेंचमार्क weka.io और nebius.com ब्लॉग पर प्रकाशित किया गया है।
Nebius के उत्पाद उपाध्यक्ष, Narek Tatevosyan, ने कहा, "पीक थ्रूपुट दर्शाता है कि कोई सिस्टम कुछ मिनटों के लिए क्या कर सकता है, लेकिन हमारे ग्राहक एजेंटों को घंटों, दिनों या उससे अधिक समय तक चलाते हैं, जिस कारण से केवल अनवरत उपयोगी कार्य का महत्व ही होता है।" पूरी शिफ्ट के दौरान, संदर्भ के मेमोरी से बाहर होने और टाइमआउट के बढ़ने से, केवल-HBM कॉन्फ़िग्रेशन लगातार पिछड़ता गया, जबकि WEKA NeuralMesh ने पूरे कार्यसमय के दौरान फर्स्ट-टोकन विलंबता को स्थिर रखा था। यह हमारी नियोजन क्षमता का तरीका बदल देता है: हम एक कार्यदिवस में पूरे किए गए काम के आधार पर आकार तय करते हैं, न कि किसी बेंचमार्क पीक के आधार पर, और Inference Economics Scorecard हमें ग्राहकों को वह संख्या दिखाने का एक सामान्य तरीका प्रदान करता है।"
"एजेंटिक इंफरेंस वह कार्यभार है जो AI फैक्ट्री को परिभाषित करता है, और मेमोरी और संदर्भ पर असाधारण दबाव डालता है। बड़े पैमाने पर प्रश्न यह नहीं है कि GPU पर कितना संदर्भ समाहित हो सकता है, बल्कि यह है कि इसे पुन: गणना किए बिना क्लस्टर में कितनी दूर तक फैलाया जा सकता है," NVIDIA में स्टोरेज टेक्नोलॉजी के उपाध्यक्ष, Jason Hardy ने कहा। "NVIDIA HGX B300 सिस्टमों पर WEKA और Nebius के परिणाम दिखाते हैं कि एक साझा संदर्भ स्तर अनवरत थ्रूपुट और प्रतिक्रियाशीलता के लिए क्या कर सकता है, और इंफरेंस के बढ़ने के साथ-साथ खरीदारों को वास्तव में काम पूरा करने वाले सिस्टमों की तुलना करने का एक स्पष्ट तरीका चाहिए होगा।"
डिज़ाइन से ही पुनरुत्पादनीय: ओपन ट्रेसेस और टूलिंग
बेंचमार्क के पीछे के ट्रेसेस और टूलिंग ओपन-सोर्स हैं, जिससे कोई भी अपने स्वयं के सिस्टमों पर एक जैसा कार्यभार चला सकता है और समान समय-सीमाओं पर परिणामों की तुलना कर सकता है। किसी भी टीम को उत्पादन के लिए ये एक यथार्थवादी विकल्प प्रदान करते हैं, क्योंकि ये ट्रेसेस कृत्रिम भार के बजाय वास्तविक एजेंटिक कोडिंग सत्रों से आते हैं, और इनमें वास्तविक कार्य के विविध समय और जटिलताएं शामिल होती हैं। अन्य लोग पहले से ही इन पर आगे काम कर रहे हैं: SemiAnalysis का AgentX बेंचमार्क ट्रेस पर आधारित है, और NVIDIA AIPerf बेंचमार्किंग टूल उनके लिए एक लोडर प्रदान करता है।
SemiAnalysis के संस्थापक और CEO, Dylan Patel, ने कहा, "एजेंटिक इंफरेंस के लिए किसी बेंचमार्क को लंबे समय तक चलने वाले एजेंट, बढ़ता संदर्भ, सबएजेंटों के साथ जटिल मल्टी-एजेंट कार्यप्रवाह और वास्तविक विश्व में परिनियोजन की विशेषता वाले अचानक और अप्रत्याशित ट्रैफिक पैटर्न सहित वास्तविक विश्व के उत्पादन ट्रैफिक को प्रतिबिंबित करने चाहिए। बहुत कम बेंचमार्क उस स्तर तक पहुँच पाते हैं, और इसी कमी को दूर करने के लिए हमने AgentX बनाया है; और इसी कारण AgentX, WEKA के खुले kvlab ट्रेस फॉर्मेट का उपयोग करके वास्तविक विश्व के एजेंटिक ट्रेस पर चलता है, ताकि कोई भी एक जैसे मल्टी-टर्न कार्यप्रवाहों को दोबारा चला सके और समान शर्तों पर परिणामों की तुलना कर सके। जैसे-जैसे एजेंट प्रमुख इंफरेंस कार्यभार बनते जा रहे हैं, इस प्रकार के पुनरुत्पादनीय माप से ही उद्योग चरम संख्याओं से आगे निकल और अपने इंफ्रास्ट्रक्चर की कार्यक्षमता देख पाता है।"
SemiAnalysis परीक्षण की प्रगति के साथ WEKA NeuralMesh पर AgentX के परिणामों को साझा करने की योजना बना रही है। अधिक जानकारी के लिए, https://inferencex.semianalysis.com/agentx पर जाएं।
अतिरिक्त संसाधन
- Inference Economics Scorecard और NAND Research की सहयोगी रिपोर्ट यहाँ उपलब्ध हैं।
- S&P Global की 451 Research रिपोर्ट, "From inference to agentic AI" यहाँ से निःशुल्क डाउनलोड करें।
- WEKA के CEO, Liran Zvibel का ब्लॉग पोस्ट पढ़ें।
- कैप्चर टूलिंग के पीछे की इंजीनियरिंग और माप को परिभाषित करने के तरीके को जानने के लिए, यहां जाएं।
- शिकागो में SC26 में 16 से 20 नवंबर तक बूथ #2519 पर WEKA से मिलें और जानें कि आप अपने स्वयं के इंफरेंस कार्यभार पर किस प्रकार से Inference Economics Scorecard लागू कर सकते हैं।
WEKA का परिचय
WEKA एक AI डेटा और मेमोरी इन्फ्रास्ट्रक्चर कंपनी है जो एजेंटिक AI के अर्थशास्त्र को बदल रही है। WEKA NeuralMesh प्लेटफॉर्म उच्च-प्रदर्शन डेटा स्टोरेज को विस्तारित GPU मेमोरी के साथ एकीकृत करता है, जिससे उद्यमों, AI क्लाउड प्रदाताओं और AI डेवलपरों को प्रशिक्षण, इंफरेंस और एजेंटिक कार्यभारों के लिए एक सिंगल आधार मिलता है। Augmented Memory Grid के साथ, NeuralMesh GPU मेमोरी क्षमता को 1000x तक बढ़ाता है, पहले टोकन के समय को 20x तक तेज करता है, और उत्पादन बेंचमार्क में सिद्ध किए गए अनुसार, समान GPU फुटप्रिंट से 10x अधिक समवर्ती उपयोगकर्ताओं को प्रदान करता है। WEKA संगठनों को उत्पादन AI को तेजी से बढ़ाने, प्रत्येक GPU से अधिक उपयोगी कार्य प्राप्त करने और उपयोग किए गए प्रत्येक टोकन की लागत को कम करने में सक्षम बनाता है। अधिक जानकारी प्राप्त करने के लिए www.weka.io पर जाएं या LinkedIn और X पर हमसे जुड़ें।
WEKA और WEKA का लोगो पंजीकृत ट्रेडमार्क हैं, और WEKA NeuralMesh और Augmented Memory Grid, WekaIO, Inc. के ट्रेडमार्क हैं। यहाँ उल्लिखित अन्य ट्रेडमार्क उनके संबंधित स्वामियों की संपत्ति हैं।

Share this article