De eerste Supermicro NVIDIA HGX™ B200-systemen op de markt demonstreren het leiderschap op het gebied van AI-prestaties met MLPerf® Inference v5.0
Laatste benchmarks laten zien dat Supermicro-systemen met de NVIDIA B200 beter presteerden. Deze genereerden 3x zoveel tokens per seconde vergeleken met de systemen van de vorige generatie.
SAN JOSE, Calif., 3 april 2025 /PRNewswire/ -- Super Micro Computer, Inc. (SMCI), een leverancier van complete IT-oplossingen voor AI/ML, HPC, cloud, opslag en 5G/Edge, kondigt de eerste toonaangevende prestaties aan die aan verschillende MLPerf Inference v5.0 benchmarks voldoen, en waarbij de NVIDIA HGX™ B200 8-GPU wordt ingezet. De 4U-vloeistofgekoelde en 10U-luchtgekoelde systemen haalden de beste prestaties volgens bepaalde benchmarks. Supermicro genereerde meer dan 3 keer tokens per seconde (Token/s) voor Llama2-70B en Llama3.1-405B benchmarks in vergelijking met H200 8-GPU-systemen.
"Supermicro blijft een leider in de AI-industrie, zoals blijkt uit de eerste nieuwe benchmarks die in 2025 door MLCommons zijn vrijgegeven," aldus Charles Liang, president en CEO van Supermicro. "Dankzij onze bouwsteenarchitectuur zijn wij de eersten die een gevarieerde reeks geoptimaliseerde systemen voor verschillende werklasten op de markt introduceren. Wij blijven nauw samenwerken met NVIDIA om onze systemen te verfijnen en een leidende positie in AI-workloads veilig te stellen."
Lees meer over de nieuwe MLPerf v5.0 Inference benchmarks op: https://mlcommons.org/benchmarks/inference-datacenter/
Supermicro is de enige systeemleverancier die recordprestaties op het gebied van MLPerf-inferentie publiceert (op geselecteerde benchmarks) voor zowel de luchtgekoelde als de vloeistofgekoelde NVIDIA HGX™ B200 8-GPU-systemen. Zowel luchtgekoelde als vloeistofgekoelde systemen waren in gebruik vóór de startdatum van de MLCommons benchmark. De technici van Supermicro hebben de systemen en software geoptimaliseerd om deze indrukwekkende prestaties te leveren. Binnen de bedrijfsmarge vertoonde het luchtgekoelde B200-systeem van Supermicro hetzelfde prestatieniveau als het vloeistofgekoelde B200-systeem. Supermicro heeft deze systemen aan klanten geleverd terwijl wij de benchmarks uitvoerden.
MLCommons benadrukt dat alle resultaten reproduceerbaar moeten zijn, dat de producten beschikbaar moeten zijn en dat Commons-leden de resultaten kunnen controleren. De technici van Supermicro hebben de systemen en software geoptimaliseerd, zoals toegestaan door de MLCommons-regels.
De SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) en SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) toonden superieure prestaties bij het uitvoeren van de Mixtral 8x7B Inference, Mixture of Experts-benchmarks met 129.000 tokens/seconde. Het luchtgekoelde en vloeistofgekoelde NVIDIA B200-systeem van Supermicro leverde meer dan 1.000 tokens/seconde inferentie in het grote Llama3.1-405b model, terwijl de vorige generaties GPU-systemen veel kleinere resultaten lieten zien. Voor kleinere inferentietaken heeft een Supermicro-systeem waarop de NVIDIA B200 SXM-180GB is geïnstalleerd, de hoogste prestaties van de geleverde Tier 1-systemen, volgens de LLAMA2-70b-benchmark.
Deze zijn:
- Stable Diffusion XL (Server)
SYS-A21GE-NBRT (8x B200-SXM-180GB)
#1 queries/s, 28.92 - llama2-70b-interactive-99 (Server)
SYS-A21GE-NBRT (8x B200-SXM-180GB)
#1 Tokens/s, 62.265,70 - Llama3.1-405b (offline)
SYS-421GE-NBRT-LCC (8xB200-SXM-180GB)
#1 Tokens/s 1521.74 - Llama3.1-405b (Server)
SYS-A21GE-NBRT (8x B200-SXNM-180GB)
#1 Tokens/s, 1080.31 (voor een 8-GPU knooppunt) - mixtral-8x7b (Server)
SYS-421GE-NBRT-LCC (8x B200-SXM-180GB)
#1 Tokens/s, 129.047,00 - mixtral-8x7b (Offline)
SYS-421GE-NBRT-LCC (8x B200-SXM-180GB)
#1 Tokens/s, 128.795,00
"MLCommons feliciteert Supermicro met zijn deelname aan de MLPerf Inference v5.0 benchmark. We zijn blij dat hun resultaten belangrijke prestatieverbeteringen laten zien ten opzichte van de systemen van vorige generaties," zegt David Kanter, hoofd van MLPerf bij MLCommons. "Klanten zullen blij zijn met de bereikte prestatieverbeteringen gestaafd door de neutrale, representatieve en reproduceerbare MLPerf-resultaten."
Supermicro biedt een uitgebreid AI-portfolio met meer dan 100 GPU-geoptimaliseerde systemen. De opties zijn zowel luchtgekoeld als vloeistofgekoeld, met een keuze aan CPU's, variërend van single-socket geoptimaliseerde systemen tot achtvoudige multiprocessorsystemen. Supermicro-systemen op rackschaal bevatten computer-, opslag- en netwerkcomponenten, en maken de installatie eenvoudig, na levering aan de klant.
De NVIDIA HGX B200 8-GPU-systemen van Supermicro gebruiken vloeistofkoeling en luchtkoelingstechnologie van de volgende generatie. De nieuw ontwikkelde koude platen en de nieuwe 250kW koelmiddeldistributie-eenheid (CDU) verdubbelen de koelcapaciteit van de vorige generatie in dezelfde 4U-vormfactor. Het rack-ontwerp met de nieuwe verticale koelmiddeldistributieverdelers (CDM), verkrijgbaar in 42U-, 48U- of 52U-configuraties, neemt geen kostbare rack-eenheden meer in beslag. Dit maakt acht systemen mogelijk met 64 NVIDIA Blackwell GPU's in een 42U-rack, en tot 12 systemen met 96 NVIDIA Blackwell GPU's in een 52U-rack.
Het nieuwe luchtgekoelde 10U NVIDIA HGX B200-systeem heeft een nieuw ontworpen chassis met een grotere thermische capaciteit en biedt plaats voor acht 1000W TDP Blackwell GPU's. In een enkel rack kunnen maximaal vier van de nieuwe 10U-luchtgekoelde systemen worden geïnstalleerd en volledig worden geïntegreerd. Met dezelfde dichtheid als de vorige generatie, leveren ze 15x inferentie en 3x trainingsprestaties.
Over Super Micro Computer, Inc.
Supermicro (NASDAQ: SMCI) is een wereldwijd toonaangevend bedrijf op het gebied van allesomvattende IT-oplossingen met toepassingsoptimalisatie. Supermicro is opgericht en gevestigd in San Jose, Californië, en streeft naar het leveren van first-to-market innovatie voor Enterprise, Cloud, AI en 5G Telco/Edge IT-infrastructuur. We zijn een Total IT Solutions provider met server, AI, storage, IoT, switch systemen, software en ondersteunende diensten. Supermicro's expertise op het gebied van moederbord-, voeding- en chassisontwerp maakt onze ontwikkeling en productie verder mogelijk, waardoor innovatie van de volgende generatie, van cloud tot edge, mogelijk wordt voor onze wereldwijde klanten. Onze producten worden in eigen huis ontworpen en geproduceerd (in de VS, Taiwan en Nederland). Hierbij maken we gebruik van wereldwijde faciliteiten voor schaal en efficiëntie, geoptimaliseerd om de TCO te verlagen en de impact op het milieu te verminderen (Green Computing). Het bekroonde portfolio van Server Building Block Solutions® stelt klanten in staat hun systeem te optimaliseren voor hun exacte workload en toepassing door een keuze te maken uit een brede selectie van systemen die zijn opgebouwd uit onze flexibele en herbruikbare bouwstenen, met ondersteuning van een grote verscheidenheid van vormfactoren, processors, geheugen, GPU's en opslag-, netwerk-, voedings- en koeloplossingen (airconditioning, vrije luchtkoeling of vloeistofkoeling).
Supermicro, Server Building Block Solutions en We Keep IT Green zijn handelsmerken en/of gedeponeerde handelsmerken van Super Micro Computer, Inc.
Alle andere merken, namen en handelsmerken zijn eigendom van de respectieve eigenaars.
Foto - https://mma.prnewswire.com/media/2656893/Super_Micro_Computer_MLPerf.jpg
Logo - https://mma.prnewswire.com/media/1443241/Supermicro_Logo.jpg
Dit artikel delen