Un nouveau rapport de NAND Research souligne que les GPU sollicités ne constituent pas un indicateur fiable de la production. Il introduit une grille d'évaluation de l'économie d'inférence afin de mesurer l'infrastructure d'inférence par le travail utile quelle fournit, tel qu'appliqué dans un benchmark de huit heures avec Nebius sur des GPU NVIDIA HGX B300 et WEKA NeuralMesh.
CHICAGO, 17 novembre 2026 /PRNewswire/ -- Extrait de Supercomputing 2026 : WEKA, la société d'infrastructure de données et de mémoire pour l'IA, en collaboration avec la société d'études de marché NAND Research, a présenté aujourd'hui la grille d'évaluation de l'économie d'inférence, un nouveau cadre commun pour mesurer la productivité et la valeur économique de l'infrastructure d'inférence par le travail utile qu'elle fournit plutôt que par la charge qu'elle impose aux GPU. Cette grille d'évaluation définit neuf mesures, dont les jetons par watt, le coût par inférence et la conservation du contexte. Elle définit quatre règles de test, notamment des périodes d'exécutions d'au moins huit heures et la prise en compte uniquement des résultats réussis. Déjà utilisée dans un test comparatif avec Nebius, la société de cloud IA, cette solution arrive à un moment où l'inférence représente une part croissante des dépenses d'infrastructure d'IA et où les acheteurs atteignent les limites de puissance, de mémoire et d'espace rack.
Les acheteurs traitent déjà l'inférence différemment, selon une nouvelle étude Une nouvelle étude de 451 Research par S&P Global montre que les organisations s'adaptent déjà, prévoyant que l'inférence passera de 34 % des dépenses d'infrastructure d'IA en 2026 à 46 % d'ici 2030, et constatant que 41 % des organisations exécutant l'inférence achètent une infrastructure fondamentalement différente pour celle-ci par rapport au reste de leur pile informatique.
« C'est dans le domaine de l'inférence que la valeur de l'IA se concrétise pleinement, et nos recherches montrent qu'elle remodèle la façon dont les organisations achètent des infrastructures », a déclaré Greg Macatee, analyste principal chez 451 Research by S&P Global. « Les agents entraînent une croissance exponentielle du volume de jetons ; les contraintes liées à la mémoire, à l'énergie et à l'approvisionnement remettent fortement en question l'idée que les organisations puissent suivre le rythme simplement en ajoutant davantage de GPU. »
Pourquoi l'utilisation des GPU est insuffisante pour l'inférence
Pendant des années, l'entraînement a constitué la charge de travail dominante en IA. Étant donné que l'entraînement occupe les GPU avec des tâches importantes et prévisibles, l'utilisation des GPU est devenue la mesure par défaut de la productivité des infrastructures d'IA. L'inférence, et en particulier l'inférence agentique, impose des exigences très différentes aux GPU. Un agent ne se contente pas de répondre à une invite, il accomplit une tâche en plusieurs étapes, et à chaque étape, il relit le contexte qu'il a construit précédemment. Une fois que le GPU a libéré la mémoire occupée par ce contexte pour faire de la place à d'autres utilisateurs et sessions, il doit le recalculer lorsque la tâche revient, et la tâche ne progresse plus jusqu'à ce que ce travail soit terminé. Le résultat est un GPU pleinement utilisé mais improductif car il gaspille des cycles en recalculant plusieurs fois les mêmes jetons.
La grille d'évaluation de l'économie d'inférence mesure les systèmes d'inférence à l'échelle de la production : requêtes traitées simultanément par de nombreux utilisateurs, et ce pendant des heures plutôt que des minutes.
« Le secteur a évalué l'inférence à l'aide d'un bulletin scolaire datant de l'ère de la formation. L'utilisation du GPU indique que la puce était occupée. Cela ne peut pas vous dire si le travail a été terminé, répété ou jeté, et avec les agents, une grande partie du travail est répétée », a déclaré Liran Zvibel, cofondateur et PDG de WEKA. « L'énergie, l'alimentation et l'espace de stockage sont désormais des contraintes au même titre que le capital. Les nouvelles formules mathématiques nécessaires à l'infrastructure d'inférence permettent d'obtenir un rendement utile par watt, par rack et par dollar, avec les temps de réponse attendus par vos utilisateurs. La grille d'évaluation de l'économie inférentielle met ces calculs sur papier, et WEKA sera évalué selon ce critère comme tout le monde. »
De l'agitation à la productivité : comment fonctionne la grille d'évaluation La grille d'évaluation de l'économie d'inférence définit neuf mesures de la performance et de l'économie de l'inférence : jetons par watt, jetons par rack, coût par inférence, débit utile du GPU, temps d'obtention du premier jeton et latence de bout en bout, efficacité de la mémoire, densité opérationnelle, concurrence des agents et rétention du contexte. Elle définit également la discipline nécessaire pour les tests comparatifs :
- Les mêmes objectifs de charge de travail et de service ont été testés sur tous les systèmes
- Mesure de l'ensemble de la pile de service
- Des périodes de fonctionnement d'au moins huit heures
- Seuls les résultats positifs ont été pris en compte
« L'erreur la plus coûteuse en matière d'infrastructure d'IA actuellement consiste à acheter pour un débit maximal et à payer pour un travail répétitif », a déclaré Steve McDowell, analyste principal et fondateur de NAND Research. « Les charges de travail agentiques rendent cette erreur difficile à repérer, car chaque étape d'une tâche longue relit un contexte qu'un GPU occupé peut avoir à reconstruire à partir de zéro. Nous avons conçu cette grille d'évaluation afin que les acheteurs puissent juger n'importe quel système selon les mêmes critères : le travail terminé, mesuré en heures, chaque échec étant comptabilisé. Le test de performance Nebius montre ce que cette discipline révèle, car il a fonctionné pendant huit heures complètes et a comptabilisé chaque requête ayant échoué ou expiré.
Mise à l'épreuve : charge réelle d'agent, soutenue pendant huit heures
WEKA et Nebius ont récemment appliqué les règles de la grille d'évaluation dans un benchmark conjoint sur des systèmes NVIDIA HGX B300 et ont rapporté des résultats sur plusieurs mesures. Le test a été exécuté sur un nœud à huit GPU servant DeepSeek-V4-Pro à 512 sessions actives tirées d'un corpus de plus de 5 000 sessions de codage agentique réelles sur huit heures par configuration, en comptant chaque requête ayant échoué et expiré.
En utilisant WEKA NeuralMesh avec Augmented Memory Grid, qui met en commun NVMe sur le cluster en tant que couche de contexte partagée, le nœud a produit 3,7 fois plus de jetons de sortie par heure GPU par rapport au service HBM uniquement sur les mêmes GPU, et 97 % des requêtes terminées avec succès ont atteint un premier jeton en moins de cinq secondes, contre 44 % auparavant. Sur un serveur utilisant uniquement HBM, 60 % du travail de préremplissage a été recalculé à partir du contexte que le cluster avait déjà traité plus tôt dans la session ; avec Augmented Memory Grid, 6,8 %. Au rythme mesuré, le nœud utilisant uniquement la mémoire HBM aurait besoin d'environ 30 heures pour produire ce qu'Augmented Memory Grid augmentée a produit en huit heures. Le benchmark complet est publié sur les blogs weka.io et nebius.com.
« Le débit maximal montre ce qu'un système peut faire pendant quelques minutes, mais nos clients exécutent des agents pendant des heures, des jours, voire plus longtemps ; ce qui compte, c'est donc un travail utile et continu », a déclaré Narek Tatevosyan, vice-président des produits chez Nebius. « Au cours d'un quart de travail complet, la configuration HBM uniquement a progressivement perdu du terrain à mesure que le contexte disparaissait de la mémoire et que les délais d'attente augmentaient, tandis que WEKA NeuralMesh a maintenu la latence du premier jeton stable tout au long de l'exécution. Cela change la façon dont nous planifions les capacités : nous dimensionnons le travail terminé sur une journée de travail, et non un pic de référence, et la grille d'évaluation de l'économie d'inférence nous offre un moyen commun de présenter ce chiffre à nos clients. »
« L'inférence agentique est la charge de travail qui définit l'usine IA et elle impose des exigences extraordinaires en matière de mémoire et de contexte. « À grande échelle, la question n'est plus de savoir quelle quantité de contexte tient sur le GPU, mais jusqu'où elle peut être étendue à l'ensemble du cluster sans être recalculée », a déclaré Jason Hardy, vice-président des technologies de stockage chez NVIDIA. Les résultats de WEKA et Nebius sur les systèmes NVIDIA HGX B300 montrent ce qu'une couche de contexte partagée peut apporter en termes de débit et de réactivité soutenus, et à mesure que l'inférence se développe, les acheteurs auront besoin d'une méthode plus claire pour comparer les systèmes sur le travail qu'ils accomplissent réellement. »
Reproductible par conception : traces et outils ouverts
Les traces et les outils derrière le benchmark sont open-source afin que chacun puisse exécuter la même charge de travail sur ses propres systèmes et comparer les résultats sur un pied d'égalité. Puisque les traces proviennent de véritables sessions de codage réalisées par des agents plutôt que d'une charge synthétique, et qu'elles incluent la variété des délais et de la complexité du travail réel, elles offrent à toute équipe un substitut réaliste à la production. D'autres s'en inspirent déjà : le benchmark AgentX de SemiAnalysis repose sur les traces, et l'outil de benchmark AIPerf de NVIDIA intègre un chargeur pour celles-ci.
« Un référentiel pour l'inférence agentique doit refléter le trafic de production réel, notamment les agents fonctionnant sur une longue durée, le contexte croissant, les flux de travail multi-agents complexes avec des sous-agents et les modèles de trafic irréguliers et imprévisibles qui caractérisent les déploiements dans le monde réel », a déclaré Dylan Patel, fondateur et PDG de SemiAnalysis. « Trop peu de benchmarks atteignent ce niveau, et c'est précisément cette lacune que nous avons comblée avec AgentX. C'est pourquoi AgentX fonctionne sur des traces d'agents réelles en utilisant le format de trace ouvert kvlab de WEKA, permettant ainsi à chacun de reproduire les mêmes flux de travail à plusieurs tours et de comparer les résultats sur un pied d'égalité. À mesure que les agents deviennent la charge de travail prédominante en matière d'inférence, des mesures reproductibles comme celle-ci permettent au secteur de dépasser les pics de fréquentation et de voir ce que son infrastructure peut supporter. »
SemiAnalysis prévoit de partager les résultats d'AgentX sur WEKA NeuralMesh au fur et à mesure de l'avancement des tests. Pour plus d'informations, visitez https://inferencex.semianalysis.com/agentx.
Ressources supplémentaires
- La grille d'évaluation de l'économie d'inférence et le rapport d'accompagnement de NAND Research sont disponibles ICI.
- Téléchargez gratuitement un exemplaire du rapport de 451 Research by S&P Global, « From inference to agentic AI » ICI.
- Lisez l' article de blog du PDG de WEKA, Liran Zvibel.
- Pour en savoir plus sur les aspects techniques derrière l'outillage de capture et sur la façon dont les mesures ont été définies, rendez-vous ICI.
- Visitez WEKA à l'occasion de SC26 à Chicago, du 16 au 20 novembre, au stand n° 2519 pour en savoir plus sur la façon d'appliquer la grille d'évaluation d'économie d'inférence à vos propres charges de travail d'inférence.
À propos de WEKA
WEKA est la société d'infrastructure de données et de mémoire pour l'IA qui transforme l'économie de l'IA agentique. La plateforme WEKA NeuralMesh unifie le stockage de données haute performance avec une mémoire GPU étendue, offrant aux entreprises, aux fournisseurs de cloud IA et aux développeurs d'IA une base unique pour les charges de travail d'entraînement, d'inférence et d'agents. Augmented Memory Grid permet à NeuralMesh de multiplier par 1 000 la capacité de mémoire du GPU, d'accélérer jusqu'à 20 fois le temps nécessaire pour obtenir le premier token et de multiplier par 10 le nombre d'utilisateurs simultanés avec les mêmes ressources GPU, comme l'ont prouvé les tests de production. WEKA permet aux organisations de déployer l'IA en production à grande échelle plus rapidement, d'optimiser l'utilisation de chaque GPU et de réduire le coût de chaque jeton généré. Pour en savoir plus, consultez le site www.weka.io ou retrouvez-nous sur LinkedIn et X.
WEKA et le logo WEKA sont des marques déposées, et WEKA NeuralMesh et Augmented Memory Grid sont des marques de WekaIO, Inc. Les autres marques mentionnées ici sont la propriété de leurs détenteurs respectifs.

Partager cet article