A Supermicro lança três SuperClusters de pilha completa de IA generativa baseados em NVIDIA, prontos para implantar, que podem ser escalados de infraestruturas empresariais a grandes infraestruturas LLM
Os SuperClusters de pilha completa incluem configurações de rack de treinamento e inferência em escala de nuvem resfriado a ar e a líquido, com as mais recentes GPUs NVIDIA Tensor Core, rede e software NVIDIA AI Enterprise
SAN JOSE, Califórnia, 19 de março de 2024 /PRNewswire/ -- A Supermicro, Inc. (NASDAQ: SMCI), fornecedora de soluções totais de TI para IA, nuvem, armazenamento e 5G/Edge, está anunciando seu mais recente portfólio para acelerar a implementação de IA generativa. As soluções de SuperCluster da Supermicro fornecem blocos de construção fundamentais para o presente e o futuro da infraestrutura de modelo de linguagem grande (LLM).
As três poderosas soluções de SuperCluster da Supermicro já estão disponíveis para cargas de trabalho de IA generativa. Os sistemas resfriados a líquido de 4U ou os sistemas resfriados a ar de 8U foram criados e projetados especificamente para um desempenho de treinamento de LLM avançado, como também para inferência de LLM de grande volume e tamanho de lote grande. Um terceiro SuperCluster, com sistemas Supermicro NVIDIA MGX™ resfriados a ar de 1U, é otimizado para inferência em escala de nuvem.
"Na era da IA, a unidade de computação agora é medida por clusters, não apenas pelo número de servidores, e com nossa capacidade de fabricação global expandida de 5.000 racks/mês, podemos fornecer clusters completos de IA generativa para nossos clientes mais rápido do que nunca", disse Charles Liang, presidente e CEO da Supermicro. "Um cluster de 64 nós permite 512 GPUs NVIDIA HGX H200 com 72 TB de HBM3e por meio de alguns de nossos blocos de construção de cluster escaláveis com rede NVIDIA Quantum-2 InfiniBand de 400 Gb/s e Spectrum-X Ethernet. As soluções SuperCluster da Supermicro combinadas com o software NVIDIA AI Enterprise são ideais para infraestruturas corporativas e de nuvem para treinar os LLMs atuais com até trilhões de parâmetros. As GPUs, CPUs, memória, armazenamento e rede interconectados, quando implantados em vários nós em racks, constroem a base da IA atual. As soluções SuperCluster da Supermicro fornecem blocos de construção fundamentais para IA generativa e LLMs em rápida evolução."
Para saber mais sobre os SuperClusters de IA da Supermicro, acesse: www.supermicro.com/ai-supercluster
"As mais recentes tecnologias de GPU, CPU, rede e software da NVIDIA permitem que os fabricantes de sistemas acelerem uma série de cargas de trabalho de IA de próxima geração para mercados globais", disse Kaustubh Sanghani, vice-presidente de Gerenciamento de Produtos de GPU da NVIDIA. "Ao aproveitar a plataforma de computação acelerada da NVIDIA com produtos baseados na arquitetura Blackwell, a Supermicro está fornecendo aos clientes os sistemas de servidor de ponta de que precisam e que podem ser facilmente implantados em data centers."
Os sistemas 4U NVIDIA HGX H100/H200 8-GPU da Supermicro dobram a densidade do sistema 8U resfriado a ar usando resfriamento a líquido, reduzindo o consumo de energia e diminuindo o TCO do data center. Esses sistemas foram projetados para suportar a próxima geração de GPUs baseadas na arquitetura NVIDIA Blackwell. A unidade de distribuição de resfriamento (CDU) e o coletor (CDM) da Supermicro são as principais artérias para a distribuição de líquido resfriado para as placas frias personalizadas direct-to-chip (D2C) da Supermicro, mantendo as GPUs e CPUs na temperatura ideal, resultando em desempenho máximo. Essa tecnologia de resfriamento permite uma redução de até 40% nos custos de eletricidade para todo o data center e economiza espaço no imóvel do data center. Saiba mais sobre a tecnologia de resfriamento a líquido da Supermicro: https://www.supermicro.com/en/solutions/liquid-cooling
Os sistemas equipados com NVIDIA HGX H100/H200 8-GPU são ideais para o treinamento de Al Generativa. As GPUs interconectadas de alta velocidade por meio do NVIDIA® NVLink®, a alta capacidade e a largura de banda da memória da GPU são essenciais para a execução de modelos LLM de forma econômica. O SuperCluster da Supermicro cria um pool massivo de recursos de GPU atuando como um único supercomputador de IA.
Seja para ajustar um enorme modelo de base treinado em um conjunto de dados com trilhões de tokens a partir do zero ou para criar uma infraestrutura de inferência LLM em escala de nuvem, a topologia de rede spine e leaf com estruturas de 400 Gb/s sem bloqueio permite que ele seja dimensionado de 32 nós para milhares de nós sem problemas. Com resfriamento a líquido totalmente integrado, os processos de teste comprovados da Supermicro validam completamente a eficácia e a eficiência operacional antes do envio.
Os projetos de sistema NVIDIA MGX™ da Supermicro com os superchips NVIDIA GH200 Grace Hopper criarão um modelo para futuros clusters de IA que abordam um gargalo crucial na IA generativa: a largura de banda da memória da GPU e a capacidade de executar modelos de linguagem grande (LLM) com tamanhos de lote de inferência altos para reduzir os custos operacionais. O cluster de 256 nós permite uma potência de inferência de alto volume em escala de nuvem, facilmente implementável e dimensionável.
SuperCluster com sistema resfriado a líquido 4U em 5 racks ou sistema de resfriamento a ar 8U em 9 racks
- 256 GPUs NVIDIA H100/H200 Tensor Core em uma unidade dimensionável
- O resfriamento a líquido permite 512 GPUs, 64 nós, no mesmo espaço que a solução de 256 GPUs, 32 nós, com resfriamento a ar
- 20 TB de HBM3 com NVIDIA H100 ou 36 TB de HBM3e com NVIDIA H200 em uma unidade dimensionável
- A rede 1:1 fornece até 400 Gbps a cada GPU para permitir RDMA e armazenamento GPUDirect para treinamento de grandes modelos de linguagem com até trilhões de parâmetros
- Estruturas de switch InfiniBand 400G ou Ethernet 400GbE com topologia de rede spine-leaf altamente escalável, incluindo NVIDIA Quantum-2 InfiniBand e NVIDIA Spectrum-X Ethernet Platform.
- Tecido de armazenamento de pipeline de dados de AI personalizável com opções de sistema de arquivos paralelos líderes do setor
- Software NVIDIA AI Enterprise 5.0, que traz suporte para os novos microsserviços de inferência NVIDIA NIM que aceleram a implantação de modelos de AI em escala
SuperCluster com sistema NVIDIA MGX 1U resfriado a ar em 9 racks
- 256 superchips Grace Hopper GH200 em uma unidade escalável
- Até 144 GB de HBM3e + 480 GB de memória unificada LPDDR5X adequada para inferência em escala de nuvem, alto volume, baixa latência e alto tamanho de lote, capaz de ajustar um modelo de mais de 70 bilhões de parâmetros em um nó.
- Estruturas de switch InfiniBand 400G ou Ethernet 400GbE com topologia de rede spine-leaf altamente escalável
- Até 8 dispositivos de armazenamento E1.S NVMe integrados por nó
- Estrutura de armazenamento de pipeline de dados de IA personalizável com DPUs NVIDIA BlueField®-3 e opções de sistema de arquivos paralelos líderes do setor para fornecer acesso de armazenamento de alta taxa de transferência e baixa latência a cada GPU
- Software NVIDIA AI Enterprise 5.0
Com o mais alto desempenho de rede possível para conectividade GPU-GPU, as soluções SuperCluster da Supermicro são otimizadas para treinamento LLM, aprendizagem profunda e inferência de alto volume e tamanho de lote elevado. Os testes de validação L11 e L12 da Supermicro, combinados com seu serviço de implantação no local, oferecem aos clientes uma experiência perfeita. Os clientes recebem unidades escaláveis plug-and-play para facilitar a implantação em um data center e acelerar o tempo de obtenção de resultados.
Sobre a Super Micro Computer, Inc.
A Supermicro (NASDAQ: SMCI) é líder mundial em soluções totais de TI otimizadas para aplicativos. Fundada e operando em San José, Califórnia, a Supermicro está comprometida em proporcionar inovação pioneira ao mercado para infraestrutura de TI empresarial, nuvem, IA e 5G de telecomunicações / borda. Somos um fabricante de soluções totais de TI com servidores, IA, armazenamento, IoT, sistemas de comutação, software e serviços de suporte. A experiência em design de placas-mãe, energia e chassis da Supermicro permite que nosso desenvolvimento e produção seja ainda maior, ao possibilitar inovação de última geração, desde a nuvem até a borda, a nossos clientes internacionais. Nossos produtos são projetados e fabricados internamente (nos EUA, Taiwan e Países Baixos), aproveitando as operações internacionais para obter escala e eficiência, sendo otimizados para melhorar o TCO e reduzir o impacto ambiental (computação ecológica). O premiado portfólio Server Building Block Solutions® permite que os clientes otimizem sua carga de trabalho e aplicação exatas, ao selecionar entre uma ampla família de sistemas construídos a partir de nossos blocos de construção flexíveis e reutilizáveis, os quais suportam um conjunto abrangente de soluções de fatores de forma, processadores, memória, GPUs, armazenamento, rede, energia e refrigeração (ar condicionado, refrigeração ao ar livre ou refrigeração líquida).
Supermicro, Server Building Block Solutions e We Keep IT Green são marcas comerciais ou marcas registradas da Super Micro Computer, Inc.
Todas as outras marcas, nomes e marcas registradas são propriedade de seus respectivos proprietários.
Foto - https://mma.prnewswire.com/media/2365342/Super_Micro_Computer_Inc.jpg
Logotipo - https://mma.prnewswire.com/media/1443241/Supermicro_Logo.jpg
FONTE Super Micro Computer, Inc.
Partilhar este artigo