WEKA, NVIDIA BlueField-4 STX पर प्रति टोकन कम लागत के साथ टोकन आउटपुट को अधिक से अधिक बढ़ाता है
NeuralMesh और ऑगमेंटेड मेमोरी ग्रिड को NVIDIA STX के साथ जोड़ने से, उसी GPU क्षमता में टोकन उत्पादन 6.5 गुना बढ़ गया है, जिससे AI आधारित कंपनियों के लिए इंफरेंस (AI चलाने) की लागत काफी कम हो गई है।
SAN JOSE, Calif. और CAMPBELL, Calif., 18 मार्च, 2026 /PRNewswire/ -- जीटीसी 2026 से: WEKA, एआई स्टोरेज और मेमोरी सिस्टम कंपनी, ने आज अपने NeuralMesh™ सॉफ़्टवेयर को NVIDIA STX संदर्भ आर्किटेक्चर के साथ इंटीग्रेट करने की घोषणा की। WEKA की नई ऑगमेंटेड मेमोरी ग्रिड™ टेक्नोलॉजी, जो NeuralMesh पर चलती है, NVIDIA STX को सपोर्ट करेगी। इससे AI सिस्टम्स (एजेंटिक एआई फ़ैक्टरीज़) को हाई-स्पीड कॉन्टेक्स्ट मेमोरी स्टोरेज मिलेगा, जिससे AI अलग-अलग सेशन्स, टूल्स और टास्क्स के बीच भी आसानी से लंबा संदर्भ (लॉन्ग कंटेक्स्ट रीडिंग) बनाए रख सकेगा। NVIDIA Vera Rubin NVL72, NVIDIA BlueField-4, और NVIDIA Spectrum-X ईथरनेट का लाभ उठाते हुए, NVIDIA STX पर आधारित न्यूरलमेश समाधान, एआई वर्कलोड के लिए कम से कम 320 जीबी रीड और 150 जीबी राइट थ्रूपुट प्रति सेकंड को सपोर्ट करते हुए, संदर्भ मेमोरी के लिए प्रति सेकंड 4-10 गुना अधिक टोकन की अनुमानित बढ़ोतरी प्रदान करेगा, जो पारंपरिक एआई स्टोरेज प्लेटफ़ॉर्म के थ्रूपुट से दोगुने से भी अधिक है।
Shared KV Cache इन्फ्रास्ट्रक्चरके जरिए इंफरेंस की लागत की समस्या को हल करना
एजेंटिक सिस्टम को स्केल करना, विशेष रूप से सॉफ़्टवेयर इंजीनियरिंग वाले कामों के लिए, एक कठिन सच्चाई को उजागर करता है: आज के एआई अर्थशास्त्र का निर्धारण मेमोरी इंफ़्रास्ट्रक्चर लेयर पर होता है। हर बड़े पैमाने पर अनुमान लगाने वाले बेड़े की मेमोरी सीमा आ जाती है: GPU पर मौजूद सीमित हाई-बैंडविड्थ मेमोरी (HBM) जल्दी खत्म हो जाती है, की-वैल्यू (KV) कैश हट जाता है, कंटेक्स्ट खो जाता है, और सिस्टम को वही काम दोबारा करना पड़ता है जो वह पहले कर चुका होता है। इस आर्किटेक्चर की कमी की वजह से इंफरेंस की लागत बहुत तेजी से बढ़ जाती है। इसका समाधान एक shared KV cache इंफ्रास्ट्रक्चर है, जो अलग-अलग एजेंट, यूज़र्स और सेशन के बीच भी जानकारी को सक्रिय बनाए रखता है। यह बेकार की दोहराई जाने वाली गणनाओं को खत्म करता है, टोकन प्रोसेसिंग की गति बनाए रखता है, और प्रदर्शन को स्थिर और अनुमानित बनाए रखता है। Shared KV cache इंफ्रास्ट्रक्चर के बिना, जैसे-जैसे एक साथ काम करने वाले यूज़र्स और एजेंट बढ़ते हैं, वह फायदा नहीं बल्कि बोझ बन जाता है—खर्च बढ़ता है, अनुभव खराब होता है, और सिस्टम को संभालना उसके बड़े होने के साथ और मुश्किल हो जाता है। कंटेक्ट्स मेमोरी के लिए STX के साथ, NVIDIA इन मुख्य इंफ़ेरेंस समस्याओं को हल करने का एक नया तरीका पेश कर रहा है।
कंटेक्स्ट मेमोरी स्टोरेज: एजेंटिक एआई फ़ैक्टरीतज़ की नींव
NVIDIA STX आर्किटेक्चर पर आधारित WEKA के साथ मिलकर बनाए गए समाधानों के जरिए, एआई क्लाउड, कंपनियाँ और एआई मॉडल बनाने वाले लोग ऐसी मजबूत इंफ्रास्ट्रक्चर तैयार कर सकते हैं, जिससे GPU को उनकी पूरी क्षमता पर चलाया जा सके, बड़े स्तर पर टोकन प्रोडक्शन बनाए रखा जा सके, और बड़े पैमाने पर इंफ़ेरेंस को ज्यादा ऊर्जा-कुशल और किफायती बनाया जा सके।
Firmus जैसे अग्रणी एआई इनोवेटर्स और क्लाउड प्रोवाइडर्स, NeuralMesh पर आधारित ऑगमेंटेड मेमोरी ग्रिड का उपयोग करके पहले से ही अपने इंफ़ेरेंस के खर्च को बदल रहे हैं।
असल दुनिया में AI लैब में नहीं चलता— वहाँ बिजली की सीमाएँ होती हैं, कूलिंग की दिक्कतें होती हैं, और काम का दबाव लगातार बना रहता है। Firmus को खास तौर पर इन्हीं परिस्थितियों के लिए बनाया गया है। "NVIDIA एआई इंफ्रास्ट्रक्चर के साथ मिलकर, WEKA का ऑगमेंटेड मेमोरी ग्रिड बड़े स्तर पर प्रति सेकंड 6.5 गुना ज्यादा टोकन और 4 गुना तेज़ TTFT (पहला जवाब आने का समय) देता है, जिससे साबित होता है कि उसी GPU सेटअप से ज्यादा परफ़ॉर्मेंस हासिल की जा सकती है। "NeuralMesh और ऑगमेंटेड मेमोरी ग्रिड को हमारी NVIDIA के अनुरूप एआई फ़ैक्ट्री और NVIDIA STX रेफ़रेंस आर्किटेक्चर में शामिल करने के बाद, हम बड़े स्तर पर स्थिर और स्थायी इंफ़ेरेंस के लिए सबसे तेज़ कंटेक्स्ट मेमोरी नेटवर्क देने में सक्षम होंगे," ऐसा Firmus के चीफ़ टेक्नोलॉजी ऑफ़िसर Daniel Kearney ने कहा।
NeuralMesh और NVIDIA STX: एजेंटिक एआई
के लिए खास तौर पर बनाया गया — NeuralMesh, WEKA का एक बुद्धिमान और अडैक्टिव स्टोरेज सिस्टम है, जो 170 से अधिक पेटेंट्स पर आधारित है। यह पूरी STX रेफ़रेंस आर्किटेक्टर में काम करेगा और संगठनों को अगली पीढ़ी का स्टोरेज देगा, जिससे वे हाई-परफॉर्मेंस एआई डेटा सर्विसेज़ को स्टैंडर्ड के मुताबिक बना सकें और एजेंटिक एआई के बेहतर नतीजों को तेजी से हासिल कर सकें। "WEKA का ऑग्मेंटेड मेमोरी ग्रिड एक खास तरह का मेमोरी एक्सटेंशन लेयर है, जो GPU की मेमोरी के बाहर केवी कैशे को एक साथ करके सुरक्षित रखता है, जिससे लंबे कंटेक्स्ट वाले सेशन्स स्थिर बने रहते हैं और जैसे-जैसे इंफ़ेरेंस वर्कलोड बढ़ते हैं, वैसे-वैसे एक साथ काम करने की क्षमता भी बनी रहती है। ऑग्मेंटेड मेमेरी ग्रिड को सबसे पहले GTC 2025 में पेश किया गया था और अब यह NeuralMesh ग्राहकों के लिए उपलब्ध है। इसे सुपरमाइक्रो के साथ NVIDIA Grace CPU और BlueField-3 DPU पर टेस्ट और वेलिडेट किया गया है, जिससे एआई की लागत को बेहतर बनाने वाले कई फायदे मिलते हैं, जैसे:
- बेहतर उपयोगकर्ता अनुभव: NeuralMesh पर चलने वाला ऑग्मेंटेड मेमोरी ग्रिड टाइम-टू-फ़र्स्ट-टोकन (पहला जवाब आने का समय) में 4 से 20 गुना तक सुधार देता है, जिससे असली दुनिया के लोड में भी एआई एजेंट और एप्लिकेशन तेज़ और प्रतिक्रियाशील बने रहते हैं।
- समान हार्डवेयर से अधिक राजस्व: बिना कोई अतिरिक्त बुनियादी ढांचा जोड़े, प्रति GPU 6.5 गुना अधिक टोकन प्रदान करें।
- व्यापक स्तर पर निरंतर प्रदर्शन: ऑग्मेंटेड मेमोरी ग्रिड, सेशन्स, एजेंट्स और कंटेक्स्ट विंडो बढ़ने पर भी केवी कैशे का हाई हिट रेट बनाए रखता है—जिससे DRAM-ओनली सिस्टम में आने वाली अचानक परफ़ॉर्मेंस गिरावट से बचा जा सकता है।
- जीपीयू-नेटिव एफ़िशिएंसी: BlueField-4 का इंटीग्रेशन स्टोरेज डेटा पाथ को CPU से मुक्त कर देता है, जिससे GPU पूरी तरह से उत्पादक बने रहते हैं और I/O की बाधाएं दूर हो जाती हैं।
"कोडिंग एलएलएम के विकास के साथ, हम सॉफ्टवेयर इंजीनियरिंग के लिए एजेंटिक एआई उपयोग के मामलों को अभूतपूर्व रूप से अपनाते हुए देख रहे हैं, जहां उत्पादकता 100-1000 गुना बढ़ जाती है।" जैसे-जैसे कोडिंग सहायक काफी हद तक अपरिवर्तित कोडबेस और प्रॉम्प्ट के विरुद्ध बार-बार कॉल करते हैं, WEKA का ऑगमेंटेड मेमोरी ग्रिड अनावश्यक प्रीफिल को मजबूर करने के बजाय कैश्ड संदर्भ का फिर से उपयोग करता है, भले ही संदर्भ विंडो अविश्वसनीय रूप से लंबी हो जाएं। "इससे प्रतिक्रिया समय में काफी सुधार होता है और एक ही बुनियादी ढांचे पर चलने वाले समवर्ती उपयोगकर्ताओं की संख्या में काफी बढ़ोतरी होती है," WEKA के सह-संस्थापक और सीईओ Liran Zvibel ने कहा। "WEKA ने एक साल से भी पहले कॉन्टेक्स्ट मेमोरी स्टोरेज की इस आवश्यकता को पहचाना और GTC 2025 में ऑगमेंटेड मेमोरी ग्रिड लॉन्च किया।" अब, NVIDIA STX उन संगठनों के लिए रास्ता खोलता है जो अपने स्टोरेज और मेमोरी एक्सटेंशन इंफ्रास्ट्रक्चर को अत्याधुनिक NVIDIA Vera Rubin आर्किटेक्चर पर चला रहे हैं, जिसमें NVIDIA BlueField-4 और NVIDIA Spectrum-X Ethernet शामिल हैं। NVIDIA STX के लिए NeuralMesh पर ऑगमेंटेड मेमोरी ग्रिड चलाने से अत्यधिक प्रदर्शन और दक्षता मिलती है जो सीधे तौर पर गेम-चेंजिंग एआई अर्थशास्त्र में तब्दील हो जाती है।"
उपलब्धता
WEKA का ऑगमेंटेड मेमोरी ग्रिड आज NeuralMesh के साथ व्यावसायिक रूप से उपलब्ध है।
जो संगठन आज मेमोरी वॉल की समस्या का समाधान नहीं करेंगे, उन्हें भविष्य में विस्तार करना अधिक कठिन और महंगा लगेगा। जैसे-जैसे एजेंटिक वर्कलोड बढ़ता है और कॉन्टेक्स्ट विंडो का विस्तार होता है, DRAM-ओनली आर्किटेक्चर को बढ़ती लागत की समस्या का सामना करना पड़ता है: प्रत्येक अतिरिक्त समवर्ती उपयोगकर्ता या सेशन से पुनर्गणना ओवरहेड, जीपीयू निष्क्रिय समय और परिचालन लागत में बढ़ोतरी होती है। जो संगठन अभी से परसिस्टेंट केवी कैश के लिए आर्किटेक्चर तैयार कर लेंगे, उन्हें इंतज़ार करने वालों की तुलना में संरचनात्मक लागत और प्रदर्शन का लाभ मिलेगा।
NeuralMesh के बारे में अधिक जानकारी के लिए, यहां जाएं: weka.io/NeuralMesh.
ऑगमेंटेड मेमोरी ग्रिड के बारे में अधिक जानकारी के लिए, यहां जाएं: weka.io/augmented-memory-grid.
संगठन weka.io/nvidia पर अधिक जानकारी प्राप्त कर सकते हैं या GTC 2026 में बूथ #1034 पर WEKA से मिल सकते हैं।
WEKA के बारे में जानकारी
WEKA अपने बुद्धिमान, अनुकूली मेश स्टोरेज सिस्टम, NeuralMesh™ WEKA® के साथ संगठनों द्वारा एआई वर्कफ़्लो बनाने, चलाने और बढ़ाने के तरीके को बदल रहा है। वर्कलोड के बढ़ने के साथ धीमा और अधिक नाजुक हो जाने वाले परंपरागत डेटा इंफ्रास्ट्रक्चर के विपरीत, NeuralMesh तेज, मजबूत और अधिक कुशल हो जाता है क्योंकि यह बढ़ता है, और उद्यम AI और एजेंटिक AI नवाचार के लिए एक लचीला आधार प्रदान करने के लिए AI वातावरणों के लिए गतिशील रूप से अनुकूलित होता है। Fortune 50 के 30% का विश्वसनीय, NeuralMesh अग्रणी उद्यमों, AI क्लाउड प्रदाताओं और AI बिल्डरों को GPUs को अनुकूलित करने, AI को तेजी से बढ़ाने और नवाचार लागत को कम करने में सहायता करता है। अधिक जानने के लिए www.weka.io पर जाएं या LinkedIn और X पर हमसे जुड़ें।
WEKA और W लोगो WekaIO, Inc. के पंजीकृत ट्रेडमार्क हैं। यहां दिए गए अन्य ट्रेड नाम उनके संबंधित स्वामियों के ट्रेडमार्क हो सकते हैं।
तस्वीर - https://mma.prnewswire.com/media/2934399/WEKA_and_NVIDIA.jpg
लोगो - https://mma.prnewswire.com/media/1796062/WEKA_v1_Logo_new.jpg
Share this article