Na era da inteligência artificial, Huawei redefine o armazenamento de dados

SAO PAULO, 30 de outubro de 2024 /PRNewswire/ -- Ao longo de 2024, Peter Zhou, vice-presidente da Huawei e presidente da Linha de Produtos de Armazenamento de Dados da empresa, compartilhou uma nova visão sobre a importância de adaptar o registro de informações à era da inteligência artificial (IA). Os dados estão se tornando recursos preciosos, por isso, o futuro do armazenamento aponta para uma solução com vários recursos, como desempenho ultra-alto, resiliência, novo paradigma, escalabilidade, sustentabilidade e novas matrizes.

Nas últimas décadas, as aplicações corporativas evoluíram da hospedagem individual, dos bancos de dados, da virtualização e do compartilhamento de arquivos para um cenário de big data e análise de dados de alto desempenho (HPDA). Como resultado temos o registro não estruturado de dados, que compreende uma transformação no armazenamento de conexão direta (direct-attached storage, DAS, na sigla em inglês), na rede anexada de armazenamento (network-attached storage, SAN) e nas tecnologias de rede de área (area network technologies). Com a ascensão da inteligência artificial generativa, a demanda por soluções robustas se tornou ainda mais crítica no cenário tecnológico atual.

O aumento da escala de clusters de grandes modelos de IA, que inclui dezenas de milhares ou até centenas de milhares de unidades de processamento gráfico (GPUs), tem gerado falhas e interrupções de aprendizado de máquina. O demorado processo de validação de dados em checkpoints e a retomada do aprendizado levam a um tempo de inatividade das placas de processamento, o que, por sua vez, faz com que o uso do cluster caia abaixo de 50%. Somado a isso, estima-se que, até 2026, o consumo de energia de datacenters em todo o mundo deverá ser 2,3 vezes maior do que há três anos e equivalente ao consumo anual de energia do Japão. Nos datacenters, a inteligência artificial consumirá mais da metade da energia.

A inteligência artificial rompe com o data warehouse tradicional, exigindo não apenas desempenho, confiabilidade e paradigma de dados, mas também escalabilidade, sustentabilidade e matriz de dados. Na era do boom de dados, a Huawei redefine o storage e inova em seis dimensões:

• Desempenho superior: O produto suporta banda larga de nível PB/s (petabyte/s) e 100 milhões de IOPS (input e output por segundo), melhorando a eficiência de todo o processo de IA generativa.
• Resiliência de dados: arquitetura e tecnologias inovadoras proporcionam 99,9999% de confiabilidade. O mecanismo de detecção de ransomware integrado aumenta a precisão de detecção para 99,99%. Até mesmo o tempo de resposta do checkpoint durante o aprendizado de IA é reduzido para menos de um minuto.
• Novo paradigma de dados: os dados tensores multidimensionais permitem a recuperação rápida usando um mecanismo de pesquisa inteligente. A tecnologia de Geração Aumentada de Recuperação (RAG) funciona com base de conhecimento integrada e elimina alucinações em grandes modelos de IA.
• Escalabilidade: um único cluster de armazenamento pode ser expandido para capacidades de nível exabyte (EB) e cada mecanismo pode ser dimensionado com mais unidades de processamento gráfico (GPUs), unidades de processamento de dados (DPUs) ou unidades de processamento neural (NPUs) para computação de quase-armazenamento.
• Sustentabilidade: as inovações em dispositivos e mídias resultam em uma excepcional eficiência no consumo de energia (menos de 1 watt/TB) e densidade (superior a 1 PB/U).
• Estrutura de dados: os recursos de pesquisa e gerenciamento de metadados permitem visibilidade e capacidade de gerenciamento, bem como mobilidade de dados 10 vezes mais eficiente.

Essas inovações prepararam o lançamento do OceanStor A800, uma adição poderosa à série OceanStor A da Huawei. Adaptado à inteligência artificial, o OceanStor A800 é capaz de otimizar o uso do cluster de IA em 30% e, em termos de desempenho, oferece alta largura de banda e IOPS quatro a oito vezes melhor do que os competidores. Em termos de escalabilidade, o OceanStor A800 suporta expansão horizontal de nível exabyte (EB), com até 512 controladores, e o máximo de 4.096 placas de processamento. Em termos de economia de espaço e de energia, ele alcança uma densidade de armazenamento excepcional de 1 PB/U e uma eficiência de energia de 0,7 watts/TB. Também fornece um novo paradigma de dados com índice vetorial, dados tensoriais e RAG. Em termos de resiliência de dados, a precisão da detecção de ransomware é de 99,99%. Além disso, o recurso de matriz de dados facilita o gerenciamento de ativos.

Ao mesmo tempo, as inovações na mídia estão impulsionando o desenvolvimento sustentável. As unidades SSD de alta capacidade lançadas recentemente pela Huawei oferecem 10 vezes mais capacidade com o mesmo tamanho de disco, reduzindo ainda mais o consumo de energia de um datacenter. Com uma capacidade de 128 TB por disco, as novas SSDs consomem 88% menos espaço e 92% menos energia do que modelos equivalentes.

Para se preparar para a inteligência artificial, as empresas devem se preparar para gerenciar dados. O sistema de arquivos global Omni-Dataverse integrado ao Mecanismo de Gerenciamento de Dados (DME) torna os ativos corporativos visíveis, administráveis e móveis, criando uma base sólida de armazenamento de data lake de IA para empresas.

Peter Zhou enfatizou ainda o compromisso da Huawei em redefinir o data warehouse com foco nos desafios e demandas dos clientes na era do boom de dados e na criação de uma infraestrutura pronta para que a IA gere mais valor.

Conheça os produtos de data warehouse da Huawei:

 https://e.huawei.com/mx/products/storage

Foto - https://mma.prnewswire.com/media/2543847/QR1_PT.jpg

FONTE Huawei