Ein neuer Bericht von NAND Research unterstreicht, dass die Auslastung von GPUs kein genaues Maß für die Produktivität darstellt; er stellt eine neue Inference Economics Scorecard vor, um die Inferenzinfrastruktur anhand der von ihr geleisteten nützlichen Arbeit zu messen, wie sie in einem achtstündigen Benchmark mit Nebius auf NVIDIA HGX B300 GPUs und WEKA NeuralMesh angewendet wurde.
CHICAGO, 16. November 2026 /PRNewswire/ -- Von Supercomputing 2026: WEKA, das Unternehmen für KI-Daten- und Speicherinfrastruktur, hat heute in Zusammenarbeit mit dem Marktforschungsunternehmen NAND Research die Inference Economics Scorecard vorgestellt, ein neues gemeinsames Rahmenwerk zur Messung der Produktivität und des wirtschaftlichen Werts von Inferenzinfrastrukturen anhand der von ihnen geleisteten nützlichen Arbeit und nicht anhand der Auslastung der GPUs. Die Scorecard definiert neun Kennzahlen, darunter Token pro Watt, Kosten pro Inferenz und Kontextbeibehaltung. Es legt vier Testregeln fest, darunter Testläufe von mindestens acht Stunden und die Zählung nur erfolgreicher Ergebnisse. Die Technologie wurde bereits in einem Benchmark mit Nebius, dem KI-Cloud-Unternehmen, angewendet und kommt zu einem Zeitpunkt, an dem Inferenz einen immer größeren Anteil der Ausgaben für KI-Infrastruktur beansprucht und Käufer an Grenzen bei Leistung, Speicher und Rackplatz stoßen.
Käufer behandeln Inferenz bereits anders, wie neue Forschungsergebnisse zeigen
Neue Forschungsergebnisse von 451 Research by S&P Global zeigen, dass sich Unternehmen bereits anpassen. Die Studie prognostiziert, dass der Anteil der KI-Infrastrukturausgaben für Inferenz von 34 % im Jahr 2026 auf 46 % im Jahr 2030 steigen wird. Außerdem wurde festgestellt, dass 41 % der Unternehmen, die Inferenz einsetzen, dafür eine grundlegend andere Infrastruktur kaufen als für den Rest ihrer IT-Infrastruktur.
„Der eigentliche Wert von KI zeigt sich letztendlich bei der Inferenz, und unsere Forschung zeigt, dass sie die Art und Weise, wie Unternehmen Infrastruktur kaufen, grundlegend verändert", sagte Greg Macatee, Senior Analyst bei 451 Research by S&P Global. „Die Agenten treiben das exponentielle Wachstum des Tokenvolumens voran; Speicher-, Energie- und Lieferengpässe stellen die Vorstellung, dass Organisationen mithalten können, indem sie einfach mehr GPUs hinzufügen, stark in Frage."
Warum die GPU-Auslastung für Inferenzprozesse unzureichend ist
Jahrelang war das Training der dominierende Arbeitsfaktor im Bereich der KI. Da das Training die GPUs mit großen, vorhersehbaren Aufgaben beschäftigt, ist die GPU-Auslastung zum Standardmaß für die Produktivität der KI-Infrastruktur geworden. Inferenz, insbesondere agentenbasierte Inferenz, stellt ganz andere Anforderungen an GPUs. Ein Agent beantwortet nicht einfach eine Eingabeaufforderung; er erledigt eine Aufgabe in vielen Schritten und liest bei jedem Schritt den zuvor erstellten Kontext erneut. Nachdem die GPU diesen Kontext aus dem Speicher entfernt hat, um Platz für andere Benutzer und Sitzungen zu schaffen, muss sie ihn bei der Rückkehr des Tasks neu berechnen, und der Task macht keine weiteren Fortschritte, bis diese Arbeit abgeschlossen ist. Das Ergebnis ist eine GPU, die zwar voll ausgelastet, aber unproduktiv ist, weil sie Rechenzyklen verschwendet, indem sie dieselben Token mehrfach neu berechnet.
Die Inference Economics Scorecard misst Inferenzsysteme im Produktionsmaßstab: Abgeschlossene Anfragen von vielen gleichzeitigen Benutzern, und zwar über Stunden statt Minuten.
„Die Branche hat Schlussfolgerungen bisher mit einem Zeugnis aus der Ausbildungsära bewertet. GPU-Auslastung bedeutet, dass der Chip ausgelastet war. Man kann nicht sagen, ob die Arbeit abgeschlossen, wiederholt oder verworfen wurde, und bei Agenten wird vieles wiederholt", sagte Liran Zvibel, Mitbegründer und CEO von WEKA. „Stromversorgung, Material und Rackplatz sind heute ebenso limitierende Faktoren wie Kapital. Die neue Mathematik, die für die Inferenzinfrastruktur erforderlich ist, lautet: Nutzbare Arbeit pro Watt, pro Rack, pro Dollar, bei den Antwortzeiten, die Ihre Benutzer erwarten. Die Scorecard zur Inferenzökonomie bringt diese Mathematik zu Papier, und WEKA wird wie alle anderen daran gemessen werden."
Vom Arbeitsalltag zum Produktivitätsschub: So funktioniert die Scorecard
Die Scorecard für Inferenzökonomie definiert neun Kennzahlen für die Leistungsfähigkeit und Ökonomie von Inferenzprozessen: Token pro Watt, Token pro Rack, Kosten pro Inferenz, GPU-Durchsatz, Zeit bis zum ersten Token und End-to-End-Latenz, Speichereffizienz, Betriebsdichte, Agenten-Parallelität und Kontextbeibehaltung. Es legt auch die Disziplin für das Testen gegen sie fest:
- Die gleiche Arbeitslast und die gleichen Serviceziele wurden für jedes System getestet.
- Messung des gesamten Servierstapels
- Läufe von mindestens acht Stunden
- Nur erfolgreiche Ausgaben werden gezählt.
„Der teuerste Fehler bei der KI-Infrastruktur besteht derzeit darin, auf maximalen Durchsatz zu setzen und für wiederholte Arbeit zu bezahlen", sagte Steve McDowell, leitender Analyst und Gründer von NAND Research. „Bei agentenbasierten Arbeitslasten kann dieser Fehler leicht übersehen werden, da bei jedem Schritt einer langen Aufgabe der Kontext erneut gelesen wird, den eine ausgelastete GPU möglicherweise von Grund auf neu aufbauen muss. Wir haben die Bewertungsmatrix so gestaltet, dass Käufer jedes System an denselben Maßstäben messen können: Die fertige Arbeit wurde in Stunden gemessen, wobei jeder Fehler gezählt wurde. Der Nebius-Benchmark zeigt, was diese Disziplin offenbart, denn er lief die vollen acht Stunden und zählte jede Anfrage, die fehlschlug oder ein Timeout verursachte."
Die Praxis: Real Agent Load, Sustained for Eight Hours
WEKA und Nebius haben kürzlich die Regeln der Scorecard in einem gemeinsamen Benchmark auf NVIDIA HGX B300-Systemen angewendet und Ergebnisse zu verschiedenen Messgrößen berichtet. Der Test wurde auf einem Acht-GPU-Knoten durchgeführt, der DeepSeek-V4-Pro für 512 aktive Sitzungen aus einem Korpus von mehr als 5.000 realen agentenbasierten Codierungssitzungen über acht Stunden pro Konfiguration bediente, wobei jede fehlgeschlagene und zeitüberschreitende Anfrage gezählt wurde.
Durch die Verwendung von WEKA NeuralMesh mit Augmented Memory Grid, das NVMe im gesamten Cluster als gemeinsame Kontextschicht bündelt, produzierte der Knoten 3,7-mal so viele Ausgabetoken pro GPU-Stunde wie der reine HBM-Dienst auf denselben GPUs, und 97 % der erfolgreich abgeschlossenen Anfragen erreichten innerhalb von fünf Sekunden ein erstes Token, gegenüber 44 % zuvor. Bei der reinen HBM-Bereitstellung wurden 60 % der Vorbelegungsarbeit aus einem Kontext neu berechnet, den der Cluster bereits früher in der Sitzung verarbeitet hatte; mit Augmented Memory Grid waren es 6,8 %. Bei der gemessenen Rate würde der HBM-only-Knoten etwa 30 Stunden benötigen, um das zu produzieren, was Augmented Memory Grid in acht Stunden schaffte. Der vollständige Benchmark ist auf den Blogs weka.io und nebius.com veröffentlicht.
„Der Spitzendurchsatz zeigt, was ein System für ein paar Minuten leisten kann, aber unsere Kunden lassen Agenten stunden-, tage- oder sogar noch länger laufen, daher kommt es auf eine nachhaltige, sinnvolle Arbeit an", sagte Narek Tatevosyan, Vizepräsident für Produktentwicklung bei Nebius. „Über eine ganze Schicht hinweg verlor die HBM-only-Konfiguration stetig an Boden, da der Kontext aus dem Speicher verschwand und die Timeouts zunahmen, während WEKA NeuralMesh die Latenz des ersten Tokens während des gesamten Laufs konstant hielt." Das verändert unsere Kapazitätsplanung: Wir planen unseren Arbeitsaufwand anhand der abgeschlossenen Arbeiten an einem Arbeitstag, nicht anhand eines Spitzenwerts, und die Inference Economics Scorecard bietet uns eine einheitliche Möglichkeit, unseren Kunden diese Zahl zu präsentieren."
„Agentische Inferenz ist die Arbeitslast, die die KI-Fabrik definiert, und sie stellt außerordentliche Anforderungen an Speicher und Kontext. Bei der Skalierung geht es nicht mehr darum, wie viel Kontext auf die GPU passt, sondern darum, wie weit er über den Cluster ausgedehnt werden kann, ohne neu berechnet werden zu müssen", sagte Jason Hardy, Vizepräsident für Speichertechnologie bei NVIDIA. „Die Ergebnisse von WEKA und Nebius auf NVIDIA HGX B300-Systemen zeigen, was eine gemeinsame Kontextschicht für einen nachhaltigen Durchsatz und eine hohe Reaktionsfähigkeit leisten kann. Mit zunehmender Inferenz benötigen Käufer eine klarere Möglichkeit, Systeme anhand der tatsächlich erledigten Aufgaben zu vergleichen."
Reproduzierbar durch Design: Offene Traces und Tools
Die Traces und Tools, die dem Benchmark zugrunde liegen, sind Open Source , sodass jeder die gleiche Arbeitslast auf seinen eigenen Systemen ausführen und die Ergebnisse unter gleichen Bedingungen vergleichen kann. Da die Traces aus realen agentenbasierten Codierungssitzungen und nicht aus synthetischer Last stammen und die unterschiedlichen Zeitabläufe und Komplexitäten realer Arbeit beinhalten, bieten sie jedem Team einen realistischen Ersatz für die Produktion. Andere bauen bereits darauf auf: Der AgentX-Benchmark von SemiAnalysis basiert auf den Traces, und das Benchmark-Tool NVIDIA AIPerf liefert einen Loader dafür mit.
„Ein Benchmark für agentenbasierte Inferenz muss den realen Produktionsdatenverkehr widerspiegeln, einschließlich langlaufender Agenten, wachsendem Kontext, komplexen Multi-Agenten-Workflows mit Subagenten und den sprunghaften, unvorhersehbaren Datenverkehrsmustern, die reale Einsätze kennzeichnen", sagte Dylan Patel, Gründer und CEO von SemiAnalysis. „Zu wenige Benchmarks erfüllen diese Anforderungen. Genau diese Lücke wollten wir mit AgentX schließen. Deshalb arbeitet AgentX mit realen Agenten-Traces im offenen kvlab-Trace-Format von WEKA, sodass jeder die gleichen mehrstufigen Arbeitsabläufe nachspielen und die Ergebnisse unter gleichen Bedingungen vergleichen kann. Da Agenten immer mehr den Großteil der Inferenzarbeit ausmachen, ist reproduzierbare Messung wie diese der Weg, wie die Branche Spitzenwerte überwindet und erkennt, was ihre Infrastruktur verkraften kann."
SemiAnalysis plant, die AgentX-Ergebnisse auf WEKA NeuralMesh im Laufe der Testphase zu veröffentlichen. Weitere Informationen finden Sie unter https://inferencex.semianalysis.com/agentx.
Weitere Ressourcen
- Die Inference Economics Scorecard und der zugehörige NAND Research-Bericht sind hier verfügbar HIER.
- Laden Sie sich hier ein kostenloses Exemplar des Berichts „From inference to agentic AI" von 451 Research by S&P Global herunter.
- Lesen Sie den Blogbeitrag von WEKA-CEO Liran Zvibel.
- Um mehr über die technischen Hintergründe der Erfassungswerkzeuge und die Definition der Messungen zu erfahren, besuchen Sie HERE.
- Besuchen Sie WEKA auf der SC26 in Chicago vom 16. bis 20. November am Stand #2519, um mehr darüber zu erfahren, wie Sie die Inference Economics Scorecard auf Ihre eigenen Inferenz-Workloads anwenden können.
Über WEKA
WEKA ist das KI-Daten- und Speicherinfrastrukturunternehmen, das die Ökonomie der agentenbasierten KI revolutioniert. Die WEKA NeuralMesh-Plattform vereint Hochleistungsdatenspeicher mit erweitertem GPU-Speicher und bietet Unternehmen, KI-Cloud-Anbietern und KI-Entwicklern eine einheitliche Grundlage für Training, Inferenz und agentenbasierte Workloads. Mit Augmented Memory Grid erweitert NeuralMesh die GPU-Speicherkapazität um das 1000-fache, beschleunigt die Zeit bis zum ersten Token um bis zu 20-fache und ermöglicht 10-mal mehr gleichzeitige Benutzer bei gleichem GPU-Footprint, wie in Produktions-Benchmarks nachgewiesen wurde. WEKA ermöglicht es Unternehmen, KI-Produktionssysteme schneller zu skalieren, mehr sinnvolle Arbeit aus jeder GPU herauszuholen und die Kosten für jedes ausgegebene Token zu senken. Erfahren Sie mehr unter www.weka.io oder vernetzen Sie sich mit uns auf LinkedIn und X.
WEKA und das WEKA-Logo sind eingetragene Marken, WEKA NeuralMesh und Augmented Memory Grid sind Marken von WekaIO, Inc. Alle anderen hier erwähnten Marken sind Eigentum ihrer jeweiligen Inhaber.

Artikel teilen