NAND Research 最新報告強調,GPU 繁忙程度不能準確反映有效產出,並提出全新的「推論經濟效益評分卡」,按實際完成的有效工作量衡量推論基礎設施。這套框架已應用於與 Nebius 合作進行、採用 NVIDIA HGX B300 GPU 及 WEKA NeuralMesh 的八小時基準測試。
芝加哥 2026年11月17日 /美通社/ -- 在 Supercomputing 2026 大會上,AI 數據及記憶體基礎設施公司 WEKA 聯同市場情報公司 NAND Research,今日推出「推論經濟效益評分卡」。這套全新通用框架按實際完成的有效工作量,衡量推論基礎設施的生產力及經濟價值,而非單看 GPU 有多繁忙。評分卡訂出九項指標,包括每瓦特的詞元產出、每次推論成本及上下文保留能力。評分卡亦訂立四項測試規則,包括每次運行至少八小時,以及只計算成功產出。這套框架已應用於與 AI 雲端服務公司 Nebius 合作進行的基準測試。與此同時,推論正佔據愈來愈大比例的 AI 基礎設施開支,而買家亦面對電力、記憶體及機架空間的限制。
新研究發現:買家已開始以不同方式看待推論 S&P Global 旗下 451 Research 的最新研究顯示,機構已開始作出調整。研究預計,推論佔 AI 基礎設施開支的比例,將由 2026 年的 34% 增至 2030 年的 46%;研究亦發現,在執行推論的機構中,41% 會為推論採購與其餘 IT 架構截然不同的基礎設施。
S&P Global 旗下 451 Research 高級分析師 Greg Macatee 表示:「AI 的價值最終透過推論實現,而我們的研究顯示,推論正重塑機構採購基礎設施的方式。AI 代理正帶動詞元數量呈指數級增長;記憶體、電力及供應方面的限制,令機構難以單靠增添 GPU 來追上需求。」
為何 GPU 使用率不足以衡量推論效能
多年來,訓練一直是主要的 AI 工作負載。訓練透過大型、可預測的運算任務,讓 GPU 持續忙碌,因此 GPU 使用率成為衡量 AI 基礎設施生產力的常用指標。推論,尤其是代理式推論,對 GPU 的要求卻截然不同。AI 代理並非只回應一個提示,而是透過多個步驟完成任務,並在每一步重新讀取先前建立的上下文。當 GPU 為其他用戶及工作階段騰出空間,而將這些上下文從記憶體移除後,便必須在任務恢復執行時重新計算。在這項工作完成之前,任務無法繼續推進。結果是 GPU 雖然滿負荷運作,卻因多次重算相同詞元而浪費運算週期,未能帶來有效產出。
推論經濟效益評分卡以生產環境規模衡量推論系統:觀察系統在大量用戶同時使用的情況下,持續數小時而非數分鐘所完成的請求。
WEKA 聯合創辦人兼行政總裁 Liran Zvibel 表示:「業界一直沿用訓練時代的成績表來評核推論。GPU 使用率只能告訴你晶片很繁忙。它卻無法說明工作究竟已經完成、被重複執行,還是最終遭到捨棄。對 AI 代理而言,大量工作其實都在重複進行。如今,電力、供應及機架空間與資金一樣,都是限制因素。推論基礎設施需要新的衡量方式:在符合用戶預期回應時間的前提下,每瓦特、每個機架及每美元能產生多少有效工作量。推論經濟效益評分卡將這套衡量方式具體化,而 WEKA 亦會與其他供應商一樣,接受同一標準的評核。」
從繁忙到高效:評分卡如何運作 推論經濟效益評分卡訂出九項推論效能及經濟效益指標:每瓦特的詞元產出、每個機架的詞元產出、每次推論成本、GPU 有效吞吐量、首個詞元回應時間及端到端延遲、記憶體使用效率、運作密度、AI 代理並行數,以及上下文保留能力。評分卡亦為各項指標訂立測試規範:
- 所有受測系統採用相同工作負載及服務目標
- 衡量整個推論服務堆疊
- 每次測試運行至少八小時
- 僅將成功產出計入成果
NAND Research 首席分析師兼創辦人 Steve McDowell 表示:「現時 AI 基礎設施最昂貴的錯誤,就是按峰值吞吐量採購,卻為重複工作付費。AI 代理工作負載令這個問題更容易被忽略,因為長時間任務的每一步,都會重新讀取上下文,而繁忙的 GPU 可能需要從頭重建這些上下文。我們設計這張評分卡,讓買家能以相同標準評核任何系統:以數小時為單位衡量已完成的工作,並記錄每次失敗。Nebius 的基準測試展示了這套規範能揭示甚麼,因為測試完整運行了八小時,並將每宗失敗或逾時的請求納入統計。」
實際驗證:真實 AI 代理負載,持續運行八小時 WEKA 與 Nebius 最近在 NVIDIA HGX B300 系統上進行聯合基準測試,採用評分卡的測試規則,並公佈多項指標的結果。測試使用一個配備八個 GPU 的節點,運行 DeepSeek-V4-Pro,為 512 個活躍工作階段提供服務。這些工作階段選自一個包含逾 5,000 個真實 AI 代理編程工作階段的資料集。每種配置均持續運行八小時,並將每宗失敗或逾時請求納入統計。
採用配備 Augmented Memory Grid 的 WEKA NeuralMesh 後,系統將叢集內的 NVMe 資源匯集成共享上下文儲存層。與同一批 GPU 僅使用高頻寬記憶體(HBM)提供服務相比,該節點每個 GPU 每小時的輸出詞元數達到 3.7 倍。在成功完成的請求中,97% 能在五秒內收到首個詞元,高於僅使用 HBM 時的 44%。僅使用 HBM 提供服務時,60% 的預填充運算,是重新計算叢集在同一工作階段中先前已處理過的上下文;採用 Augmented Memory Grid 後,這個比例降至 6.8%。按實測速率計算,僅使用 HBM 的節點約需 30 小時,才能達到 Augmented Memory Grid 在八小時內完成的產出。完整基準測試已刊載於 weka.io 及 nebius.com 的網誌。
Nebius 產品副總裁 Narek Tatevosyan 表示:「峰值吞吐量展示的是系統在幾分鐘內能做到甚麼,但我們的客戶會讓 AI 代理運行數小時、數天,甚至更長時間,因此真正重要的是持續完成有效工作。在完整工作時段內,隨著上下文被移出記憶體,以及逾時請求增加,僅使用 HBM 的配置表現逐漸落後;WEKA NeuralMesh 則在整個測試期間維持穩定的首個詞元回應時間。這改變了我們規劃容量的方式:我們按一個工作天內能完成的工作量配置資源,而非基準測試的峰值。推論經濟效益評分卡讓我們能以共同的衡量方式,向客戶展示這個數字。」
「代理式推論是塑造 AI 工廠的關鍵工作負載,對記憶體及上下文提出極高要求。在大規模運作下,問題已不再是 GPU 能容納多少上下文,而是在無需重新運算的情況下,能於整個叢集內將上下文容量擴展至多大規模。」NVIDIA 儲存技術副總裁 Jason Hardy 表示。「WEKA 及 Nebius 在 NVIDIA HGX B300 系統上的測試結果,展示了共用上下文層如何提升持續吞吐量及回應速度。隨著推論規模不斷擴大,採購者將需要更清晰的方法,根據各系統實際完成的工作量作比較。」
以可重現為設計原則:開放執行軌跡及工具 基準測試所用的執行軌跡及工具均已開源,任何人都可在自己的系統上運行相同工作負載,並在同等條件下比較結果。這些執行軌跡來自真實 AI 代理編程工作階段,而非合成負載,涵蓋實際工作中多變的時序及複雜度,為各團隊提供貼近實際生產情況的測試負載。其他機構亦已開始在此基礎上開發工具:SemiAnalysis 的 AgentX 基準測試以這些執行軌跡為基礎,而 NVIDIA AIPerf 基準測試工具亦提供相應的資料載入工具。
SemiAnalysis 創辦人兼行政總裁 Dylan Patel 表示:「代理式推論基準測試必須反映真實生產流量,包括長時間運行的 AI 代理、不斷增長的上下文、包含子代理的複雜多代理工作流程,以及實際部署中常見的突發、難以預測的流量模式。能達到這個標準的基準測試寥寥可數,而我們建立 AgentX,正是為了填補這個缺口。這亦是 AgentX 採用 WEKA 開放的 kvlab 執行軌跡格式,基於真實 AI 代理軌跡運行的原因,讓任何人都能重播相同的多輪工作流程,並在同等條件下比較結果。隨著 AI 代理成為主要推論工作負載,這種可重現的測量方式,將讓業界不再局限於峰值數字,而能看清基礎設施可持續維持的表現。」
SemiAnalysis 計劃隨著測試進展,分享 WEKA NeuralMesh 上的 AgentX 測試結果。如欲了解更多資訊,請瀏覽 https://inferencex.semianalysis.com/agentx。
更多資源
- 推論經濟效益評分卡及 NAND Research 配套報告可於此處查閱。
- 按此免費下載 S&P Global 旗下 451 Research 的報告《From inference to agentic AI》。
- 閱讀 WEKA 行政總裁 Liran Zvibel 的網誌文章。
- 如欲了解資料擷取工具背後的工程設計,以及各項測量指標的定義,請按此瀏覽。
- 歡迎於 11 月 16 至 20 日蒞臨芝加哥 SC26 大會的 WEKA 2519 號展位,進一步了解如何將推論經濟效益評分卡應用於您的推論工作負載。
關於 WEKA
WEKA 是一家 AI 數據及記憶體基礎設施公司,致力改變代理式 AI 的經濟效益。WEKA NeuralMesh 平台將高效能數據儲存與擴展 GPU 記憶體整合,為企業、AI 雲端服務供應商及 AI 開發者提供統一基礎,支援訓練、推論及 AI 代理工作負載。透過 Augmented Memory Grid,NeuralMesh 可將 GPU 記憶體容量擴展至原來的 1,000 倍,將首個詞元回應速度提升至最高 20 倍,並在相同 GPU 資源規模下,服務原來 10 倍的並行用戶。上述表現已在生產環境基準測試中得到驗證。WEKA 協助機構更快擴展生產環境中的 AI 規模,讓每個 GPU 完成更多有效工作,並降低每個輸出詞元的成本。如欲了解更多,請瀏覽 www.weka.io 或追蹤我們的 LinkedIn 和 X。
WEKA 及 WEKA 標誌為註冊商標,WEKA NeuralMesh 及 Augmented Memory Grid 為 WekaIO, Inc. 的商標。本文提及的其他商標均屬其各自擁有人所有。
SOURCE WEKA

分享這篇文章