Accessibility Statement Skip Navigation
  • 數據隱私
  • 聯繫我們
  • 發佈新聞稿
  • 新聞
  • 產品
  • 聯繫
查找
When typing in this field, a list of search results will appear and be automatically updated as you type.

搜索您的內容

未找到結果。請更改搜索條件並重試。
  • News Releases view all

    • 焦點新聞
        • 瀏覽新聞稿

        • 所有新聞稿
        • 所有上市公司
        • 所有多媒體

        • 所有多媒體
        • 所有照片
        • 所有影片
    • 商業與財經
        • 一般商業

        • 人事公告
        • 人力資源與勞動力管理
        • 企業擴張
        • 住宅房地產
        • 商業地產
        • 外包業務
        • 小型企業服務
        • 展會新聞
        • 房地產交易
        • 新產品與服務
        • 業績公佈
        • 海外房地產(非美國)
        • 牌照許可和營銷協議
        • 獎項
        • 環境、社會和治理
        • 社會責任投資
        • 訃告
        • 調查、民意測驗和研究
        • 所有 一般商業

        • 商業科技

        • 互聯網技術
        • 區塊鏈
        • 半導體
        • 外圍設備
        • 廣播技術
        • 數據分析
        • 納米技術
        • 網絡
        • 金融科技
        • 電子元件
        • 電子商務
        • 電子設計自動化
        • 電腦硬件
        • 電腦網絡
        • 電腦與電子產品
        • 電腦軟件
        • 電腦配件
        • 高科技安全
        • 所有 商業科技

        • 所有娛樂與媒體

        • 出版與信息服務
        • 圖書
        • 娛樂
        • 廣告
        • 廣播與播客
        • 藝術、文化和設計
        • 雜誌
        • 電影
        • 電視
        • 音樂
        • 所有 所有娛樂與媒體

        • 汽車與運輸

        • 供應鏈/物流
        • 卡車和公路運輸
        • 旅遊
        • 汽車
        • 海事與造船
        • 航空公司與航空
        • 航空航天與國防
        • 航空貨運
        • 運輸、卡車和鐵路
        • 鐵路與多式聯運
        • 所有 汽車與運輸

        • 財經服務和投資

        • A股東激進主義
        • 保險
        • 債券與股票評級
        • 共同基金
        • 加密貨幣
        • 合同
        • 合資企業
        • 房地產
        • 投資意見
        • 收購、合併和接管
        • 會計新聞與問題
        • 業績公佈
        • 業績預測
        • 產品
        • 破產
        • 私募
        • 紅利
        • 股東大會
        • 股票分割
        • 融資協議
        • 重組與資本結構調整
        • 銀行與金融服務
        • 銷售報告
        • 電話會議公告
        • 風險投資
        • 所有 財經服務和投資

    • 科學與技術
        • 消費科技

        • STEM(科學、技術、工程、數學)
        • 人工智能
        • 加密貨幣
        • 區塊鏈
        • 娛樂與媒體
        • 數據分析
        • 消費電子產品
        • 無線通信
        • 社交媒體
        • 移動設備/應用程序
        • 金融科技
        • 雲計算 物聯網
        • 電子商務
        • 電子設計自動化
        • 電腦硬件
        • 電腦網絡
        • 電腦與電子產品
        • 電腦軟件
        • 電腦配件
        • 所有 消費科技

        • 環境

        • 保護與回收
        • 環保產品與服務
        • 環境問題
        • 環境政策
        • 綠色科技
        • 自然災害
        • 所有 環境

        • 能源與自然資源

        • 一般製造業
        • 公用事業
        • 化學
        • 天然氣
        • 採礦
        • 採礦與金屬
        • 替代能源
        • 水務
        • 石油和天然氣發現
        • 石油和能源
        • 電力設施
        • 所有 能源與自然資源

        • 重工業和製造業

        • 一般製造業
        • 化學
        • 建築與建造
        • 採礦
        • 採礦與金屬
        • 暖通空調(供暖、通風與空調)
        • 機床、金屬加工和冶金
        • 機械
        • 煙草
        • 紙張、林產品和集裝箱
        • 紡織品
        • 航空航天與國防
        • 貴金屬
        • 農業
        • 所有 重工業和製造業

        • 電信

        • 無線通信
        • 移動設備/應用程序
        • 網絡電話
        • 運營商和服務
        • 電信
        • 電信設備
        • 電信運營商和服務
        • 電腦網絡
        • 電腦配件
        • 所有 電信

    • 生活與健康
        • 健康

        • FDA 批准
        • 保健與醫院
        • 健康保險
        • 健身保健
        • 傳染病控制
        • 制藥業
        • 國際醫療審批
        • 心理健康
        • 牙科
        • 生物技術
        • 生物統計學
        • 臨床試驗與醫學發現
        • 輔助藥物
        • 醫療制藥
        • 醫療設備
        • 所有 健康

        • 所有娛樂與媒體

        • 出版與信息服務
        • 圖書
        • 娛樂
        • 廣告
        • 廣播與播客
        • 藝術、文化和設計
        • 雜誌
        • 電影
        • 電視
        • 音樂
        • 所有 所有娛樂與媒體

        • 旅遊

        • 休閒與旅遊
        • 客運航空
        • 戶外、露營和遠足
        • 旅遊
        • 賭博與賭場
        • 遊樂場和旅遊景點
        • 酒店和度假村
        • 所有 旅遊

        • 消費產品及零售

        • 傢具與裝修
        • 動物與寵物
        • 化妝品與個人護理
        • 啤酒、葡萄酒和烈酒
        • 大麻
        • 婚慶服務
        • 家居用品、消費品和化妝品
        • 家庭裝修
        • 家用產品
        • 時尚
        • 有機食品
        • 玩具
        • 珠寶
        • 產品召回
        • 超市
        • 辦公用品
        • 零售業
        • 非酒精飲料
        • 食品與飲料
        • 飲料
        • 餐飲業
        • 所有 消費產品及零售

        • 體育

        • 戶外、露營和遠足
        • 運動器材和配件
        • 體育
        • 體育賽事
        • 所有 體育

    • 政策與公共利益
        • 政策和公共利益

        • 企業社會責任
        • 公共安全
        • 動物福利
        • 勞工與工會
        • 教育
        • 歐洲政府
        • 環保產品與服務
        • 經濟新聞、趨勢和分析
        • 自然災害
        • 非營利
        • 所有 政策和公共利益

    • 人文與文化
        • 人文和文化

        • 兒童相關新聞
        • 多元化、公平與包容
        • 婦女相關新聞
        • 宗教
        • 殘疾人新聞
        • 男女同性戀、雙性戀和變性者
        • 老年公民
        • 西班牙語新聞
        • 退伍軍人
        • 所有 人文和文化

    • 探索我們的平台
    • 策劃活動
    • 利用人工智慧進行創作
    • 發布新聞稿
    • 報告結果
    • 放大內容
    • 所有產品
    • 一般資訊
    • 申請諮詢
    • Hamburger menu
    • PR Newswire: news distribution, targeting and monitoring Home
    • 發佈新聞稿
      • 所有聯繫資訊
      • 聯繫我們


    • 搜索您的內容

      未找到結果。請更改搜索條件並重試。

      News Releases

      view all
      Close menu
    • 新聞
    • 產品
    • 聯繫
      • 新聞稿
      • 發佈新聞稿
      • 數據隱私
      • 2 焦點新聞
      • 5 商業與財經
      • 5 科學與技術
      • 5 生活與健康
      • 1 政策與公共利益
      • 1 人文與文化
      • 新聞稿
      • 發佈新聞稿
      • 數據隱私
      • 探索我們的平台
      • 策劃活動
      • 利用人工智慧進行創作
      • 發布新聞稿
      • 報告結果
      • 放大內容
      • 所有產品
      • 新聞稿
      • 發佈新聞稿
      • 數據隱私
      • 一般資訊
      • 申請諮詢
      • 新聞稿
      • 發佈新聞稿
      • 數據隱私
      Close submenu (焦點新聞) 焦點新聞
      • 瀏覽新聞稿
      • 所有多媒體
      Close submenu (商業與財經) 商業與財經
      • 一般商業
      • 商業科技
      • 所有娛樂與媒體
      • 汽車與運輸
      • 財經服務和投資
      Close submenu (科學與技術) 科學與技術
      • 消費科技
      • 環境
      • 能源與自然資源
      • 重工業和製造業
      • 電信
      Close submenu (生活與健康) 生活與健康
      • 健康
      • 所有娛樂與媒體
      • 旅遊
      • 消費產品及零售
      • 體育
      Close submenu (政策與公共利益) 政策與公共利益
      • 政策和公共利益
      Close submenu (人文與文化) 人文與文化
      • 人文和文化

      新研究質疑以 GPU 使用率衡量推論基礎設施效能

      • APAC - English
      • Deutschland - Deutsch
      • Korea - 한국어
      • USA - English
      WEKA: The Foundation for Enterprise AI

      新聞提供者

      WEKA

      17 11月, 2026, 06:00 CST

      分享這篇文章

      分享這篇文章


      NAND Research 最新報告強調,GPU 繁忙程度不能準確反映有效產出,並提出全新的「推論經濟效益評分卡」,按實際完成的有效工作量衡量推論基礎設施。這套框架已應用於與 Nebius 合作進行、採用 NVIDIA HGX B300 GPU 及 WEKA NeuralMesh 的八小時基準測試。

      芝加哥 2026年11月17日 /美通社/ -- 在 Supercomputing 2026 大會上,AI 數據及記憶體基礎設施公司 WEKA 聯同市場情報公司 NAND Research,今日推出「推論經濟效益評分卡」。這套全新通用框架按實際完成的有效工作量,衡量推論基礎設施的生產力及經濟價值,而非單看 GPU 有多繁忙。評分卡訂出九項指標,包括每瓦特的詞元產出、每次推論成本及上下文保留能力。評分卡亦訂立四項測試規則,包括每次運行至少八小時,以及只計算成功產出。這套框架已應用於與 AI 雲端服務公司 Nebius 合作進行的基準測試。與此同時,推論正佔據愈來愈大比例的 AI 基礎設施開支,而買家亦面對電力、記憶體及機架空間的限制。

      新研究發現:買家已開始以不同方式看待推論 S&P Global 旗下 451 Research 的最新研究顯示,機構已開始作出調整。研究預計,推論佔 AI 基礎設施開支的比例,將由 2026 年的 34% 增至 2030 年的 46%;研究亦發現,在執行推論的機構中,41% 會為推論採購與其餘 IT 架構截然不同的基礎設施。

      S&P Global 旗下 451 Research 高級分析師 Greg Macatee 表示:「AI 的價值最終透過推論實現,而我們的研究顯示,推論正重塑機構採購基礎設施的方式。AI 代理正帶動詞元數量呈指數級增長;記憶體、電力及供應方面的限制,令機構難以單靠增添 GPU 來追上需求。」

      為何 GPU 使用率不足以衡量推論效能

      多年來,訓練一直是主要的 AI 工作負載。訓練透過大型、可預測的運算任務,讓 GPU 持續忙碌,因此 GPU 使用率成為衡量 AI 基礎設施生產力的常用指標。推論,尤其是代理式推論,對 GPU 的要求卻截然不同。AI 代理並非只回應一個提示,而是透過多個步驟完成任務,並在每一步重新讀取先前建立的上下文。當 GPU 為其他用戶及工作階段騰出空間,而將這些上下文從記憶體移除後,便必須在任務恢復執行時重新計算。在這項工作完成之前,任務無法繼續推進。結果是 GPU 雖然滿負荷運作,卻因多次重算相同詞元而浪費運算週期,未能帶來有效產出。

      推論經濟效益評分卡以生產環境規模衡量推論系統:觀察系統在大量用戶同時使用的情況下,持續數小時而非數分鐘所完成的請求。

      WEKA 聯合創辦人兼行政總裁 Liran Zvibel 表示:「業界一直沿用訓練時代的成績表來評核推論。GPU 使用率只能告訴你晶片很繁忙。它卻無法說明工作究竟已經完成、被重複執行,還是最終遭到捨棄。對 AI 代理而言,大量工作其實都在重複進行。如今,電力、供應及機架空間與資金一樣,都是限制因素。推論基礎設施需要新的衡量方式:在符合用戶預期回應時間的前提下,每瓦特、每個機架及每美元能產生多少有效工作量。推論經濟效益評分卡將這套衡量方式具體化,而 WEKA 亦會與其他供應商一樣,接受同一標準的評核。」

      從繁忙到高效:評分卡如何運作 推論經濟效益評分卡訂出九項推論效能及經濟效益指標:每瓦特的詞元產出、每個機架的詞元產出、每次推論成本、GPU 有效吞吐量、首個詞元回應時間及端到端延遲、記憶體使用效率、運作密度、AI 代理並行數,以及上下文保留能力。評分卡亦為各項指標訂立測試規範:

      • 所有受測系統採用相同工作負載及服務目標
      • 衡量整個推論服務堆疊
      • 每次測試運行至少八小時
      • 僅將成功產出計入成果

      NAND Research 首席分析師兼創辦人 Steve McDowell 表示:「現時 AI 基礎設施最昂貴的錯誤,就是按峰值吞吐量採購,卻為重複工作付費。AI 代理工作負載令這個問題更容易被忽略,因為長時間任務的每一步,都會重新讀取上下文,而繁忙的 GPU 可能需要從頭重建這些上下文。我們設計這張評分卡,讓買家能以相同標準評核任何系統:以數小時為單位衡量已完成的工作,並記錄每次失敗。Nebius 的基準測試展示了這套規範能揭示甚麼,因為測試完整運行了八小時,並將每宗失敗或逾時的請求納入統計。」

      實際驗證:真實 AI 代理負載,持續運行八小時 WEKA 與 Nebius 最近在 NVIDIA HGX B300 系統上進行聯合基準測試,採用評分卡的測試規則,並公佈多項指標的結果。測試使用一個配備八個 GPU 的節點,運行 DeepSeek-V4-Pro,為 512 個活躍工作階段提供服務。這些工作階段選自一個包含逾 5,000 個真實 AI 代理編程工作階段的資料集。每種配置均持續運行八小時,並將每宗失敗或逾時請求納入統計。

      採用配備 Augmented Memory Grid 的 WEKA NeuralMesh 後,系統將叢集內的 NVMe 資源匯集成共享上下文儲存層。與同一批 GPU 僅使用高頻寬記憶體(HBM)提供服務相比,該節點每個 GPU 每小時的輸出詞元數達到 3.7 倍。在成功完成的請求中,97% 能在五秒內收到首個詞元,高於僅使用 HBM 時的 44%。僅使用 HBM 提供服務時,60% 的預填充運算,是重新計算叢集在同一工作階段中先前已處理過的上下文;採用 Augmented Memory Grid 後,這個比例降至 6.8%。按實測速率計算,僅使用 HBM 的節點約需 30 小時,才能達到 Augmented Memory Grid 在八小時內完成的產出。完整基準測試已刊載於 weka.io 及 nebius.com 的網誌。

      Nebius 產品副總裁 Narek Tatevosyan 表示:「峰值吞吐量展示的是系統在幾分鐘內能做到甚麼,但我們的客戶會讓 AI 代理運行數小時、數天,甚至更長時間,因此真正重要的是持續完成有效工作。在完整工作時段內,隨著上下文被移出記憶體,以及逾時請求增加,僅使用 HBM 的配置表現逐漸落後;WEKA NeuralMesh 則在整個測試期間維持穩定的首個詞元回應時間。這改變了我們規劃容量的方式:我們按一個工作天內能完成的工作量配置資源,而非基準測試的峰值。推論經濟效益評分卡讓我們能以共同的衡量方式,向客戶展示這個數字。」

      「代理式推論是塑造 AI 工廠的關鍵工作負載,對記憶體及上下文提出極高要求。在大規模運作下,問題已不再是 GPU 能容納多少上下文,而是在無需重新運算的情況下,能於整個叢集內將上下文容量擴展至多大規模。」NVIDIA 儲存技術副總裁 Jason Hardy 表示。「WEKA 及 Nebius 在 NVIDIA HGX B300 系統上的測試結果,展示了共用上下文層如何提升持續吞吐量及回應速度。隨著推論規模不斷擴大,採購者將需要更清晰的方法,根據各系統實際完成的工作量作比較。」

      以可重現為設計原則:開放執行軌跡及工具 基準測試所用的執行軌跡及工具均已開源,任何人都可在自己的系統上運行相同工作負載,並在同等條件下比較結果。這些執行軌跡來自真實 AI 代理編程工作階段,而非合成負載,涵蓋實際工作中多變的時序及複雜度,為各團隊提供貼近實際生產情況的測試負載。其他機構亦已開始在此基礎上開發工具:SemiAnalysis 的 AgentX 基準測試以這些執行軌跡為基礎,而 NVIDIA AIPerf 基準測試工具亦提供相應的資料載入工具。

      SemiAnalysis 創辦人兼行政總裁 Dylan Patel 表示:「代理式推論基準測試必須反映真實生產流量,包括長時間運行的 AI 代理、不斷增長的上下文、包含子代理的複雜多代理工作流程,以及實際部署中常見的突發、難以預測的流量模式。能達到這個標準的基準測試寥寥可數,而我們建立 AgentX,正是為了填補這個缺口。這亦是 AgentX 採用 WEKA 開放的 kvlab 執行軌跡格式,基於真實 AI 代理軌跡運行的原因,讓任何人都能重播相同的多輪工作流程,並在同等條件下比較結果。隨著 AI 代理成為主要推論工作負載,這種可重現的測量方式,將讓業界不再局限於峰值數字,而能看清基礎設施可持續維持的表現。」

      SemiAnalysis 計劃隨著測試進展,分享 WEKA NeuralMesh 上的 AgentX 測試結果。如欲了解更多資訊,請瀏覽 https://inferencex.semianalysis.com/agentx。

      更多資源

      • 推論經濟效益評分卡及 NAND Research 配套報告可於此處查閱。
      • 按此免費下載 S&P Global 旗下 451 Research 的報告《From inference to agentic AI》。
      • 閱讀 WEKA 行政總裁 Liran Zvibel 的網誌文章。 
      • 如欲了解資料擷取工具背後的工程設計,以及各項測量指標的定義,請按此瀏覽。
      • 歡迎於 11 月 16 至 20 日蒞臨芝加哥 SC26 大會的 WEKA 2519 號展位,進一步了解如何將推論經濟效益評分卡應用於您的推論工作負載。

      關於 WEKA
      WEKA 是一家 AI 數據及記憶體基礎設施公司,致力改變代理式 AI 的經濟效益。WEKA NeuralMesh 平台將高效能數據儲存與擴展 GPU 記憶體整合,為企業、AI 雲端服務供應商及 AI 開發者提供統一基礎,支援訓練、推論及 AI 代理工作負載。透過 Augmented Memory Grid,NeuralMesh 可將 GPU 記憶體容量擴展至原來的 1,000 倍,將首個詞元回應速度提升至最高 20 倍,並在相同 GPU 資源規模下,服務原來 10 倍的並行用戶。上述表現已在生產環境基準測試中得到驗證。WEKA 協助機構更快擴展生產環境中的 AI 規模,讓每個 GPU 完成更多有效工作,並降低每個輸出詞元的成本。如欲了解更多,請瀏覽 www.weka.io 或追蹤我們的 LinkedIn 和 X。

      WEKA 及 WEKA 標誌為註冊商標,WEKA NeuralMesh 及 Augmented Memory Grid 為 WekaIO, Inc. 的商標。本文提及的其他商標均屬其各自擁有人所有。

      SOURCE WEKA

      Modal title

      Also from this source

      WEKA 與 Andromeda 攜手合作,為全球規模的 AI 工作負載提供強大動力

      WEKA 與 Andromeda 攜手合作,為全球規模的 AI 工作負載提供強大動力

      AI 數據與記憶體基建公司 WEKA 今日宣佈,連接 AI 團隊與高效能運算的平台 Andromeda,將整合 WEKA NeuralMesh 平台,作為其託管 GPU 集群的核心 AI 數據儲存層。Andromeda 的客戶現可存取專用的 NeuralMesh 或 GPU 原生的 WEKA...

      WEKA 推出 NeuralMesh 6,以助企業及代理型人工智能工作負載在生產環境中大規模運行

      WEKA 推出 NeuralMesh 6,以助企業及代理型人工智能工作負載在生產環境中大規模運行

      人工智能 (AI) 數據及記憶體基礎設施公司 WEKA 今日宣佈推出 WEKA NeuralMesh 6,這是公司有史以來最重要的軟件版本。公司專門構建的平台旨在協助客戶透過單一統一軟件堆疊,在生產級規模運行人工智能訓練、推理及加速運算工作負載。...

      More Releases From This Source

      Explore

      廣播技術

      廣播技術

      電腦與電子產品

      電腦與電子產品

      電腦硬件

      電腦硬件

      數據分析

      數據分析

      News Releases in Similar Topics

      聯繫Cision

      • [email protected]
      • 一般資訊
      • 申請咨詢
      • 合作
      • 媒體咨詢

      產品

      • Cision傳播雲平台
      • 營銷人
      • 公關
      • 投資者關係和合規
      • 代理商
      • 小型企業
      • 所有產品

      關於

      • 關於美通社
      • 關係 Cision
      • 工作機會
      • 無障礙聲明
      • 亞太地區 - 簡體中文
      • 亞太地區
      • 亞太地區—繁體中文
      • 阿拉伯
      • 巴西
      • 加拿大
      • 捷克共和國
      • 丹麥
      • 芬蘭
      • 法國
      • 德國
      • 印度
      • 以色列
      • 印尼
      • 意大利
      • 墨西哥
      • 中東
      • 荷蘭
      • 挪威
      • 波蘭
      • 葡萄牙
      • 俄羅斯聯邦
      • 斯洛伐克
      • 西班牙
      • 瑞典
      • 英國
      • 美國

      我的服務

      • 所有新聞稿
      • 平台

      Do not sell or share my personal information:

      • Submit via [email protected] 
      • Call Privacy toll-free: 877-297-8921

      聯繫Cision

      產品

      關於

      Dịch vụ của tôi
      • 所有新聞稿
      • Platform
      [email protected]
      • 使用條款
      • 隱私條款
      • 信息安全政策
      • 網站地圖
      • RSS
      • Cookie設定
      • 無障礙
      版權所有 © 2026 Cision US Inc.