슈퍼마이크로, IBM 및 엔비디아와 추론 성능이 막강한 KV 캐시 솔루션 출시

뉴스 제공처

2026년 11월 05일 23:11 KST

KV(key-value, 키값) 캐시 솔루션으로 Supermicro Petascale 스토리지 서버와 IBM Storage Scale 소프트웨어, NVIDIA Dynamo 추론 소프트웨어, NVIDIA Spectrum-X 이더넷 스위치 통합
성능 테스트 결과, KV 캐시를 사용하지 않는 시스템 대비 긴 컨텍스트 구간의 첫 토큰 생성 시간(TTFT) 단축
GPU 활용률과 처리량, 인프라 확장성을 높여 고객의 추론 효율을 대폭 개선

새너제이, 캘리포니아, 2026년 11월 5일 /PRNewswire/ -- Data Center Building Block Solutions®(DCBBS)를 기반으로 AI와 엔터프라이즈, 스토리지, 5G/엣지 분야에서 토털 IT 솔루션을 공급하는 슈퍼마이크로(Supermicro, Inc., 나스닥: SMCI)가 11월 5일 IBM, 엔비디아(NVIDIA)와 함께 새 KV 캐시 스토리지 솔루션을 발표했다. AMD EPYC 9005 Series 프로세서('Turin')를 사용하는 Supermicro Petascale 올플래시 스토리지 서버와 IBM Storage Scale 소프트웨어, NVIDIA Dynamo 추론 프레임워크 소프트웨어, Spectrum-X Ethernet 네트워킹을 통합한 솔루션이다.

KV Cache high-performance platform for large-scale AI inference

이 기술들을 결합하면 AI 모델이 응답 생성을 시작하는 데 걸리는 시간을 대폭 단축할 수 있다. 이는 기업이 에이전틱 AI와 긴 컨텍스트를 활용하는 AI 워크플로를 도입하는 과정에서 중요한 장점이 된다. KV 캐시 용량을 로컬 GPU 메모리의 한계 너머로 확장하면 GPU 활용률과 추론 처리량을 높이는 동시에 KV 캐시 콘텐츠의 고가용성을 확보하고 서비스 중단 없이 KV 캐시 용량을 확장할 수 있다. 그 결과 추론 아키텍처의 확장성과 복원력이 좋아지고 AI 경험은 더 빠르고 반응성도 높아진다.

찰스 리앙(Charles Liang) 슈퍼마이크로 사장 겸 CEO는 "AI 워크로드가 학습에서 추론으로 확대됨에 따라 에이전틱 AI와 긴 컨텍스트 다중 턴 생성형 AI가 특징인 고처리량 추론 워크로드를 구축하는 기업과 네오클라우드 사업자는 병목 현상을 해소해야 GPU 효율을 높일 수 있다"며 "IBM, 엔비디아와 함께 개발한 이번 솔루션은 이 같은 성능상의 장점이 명확하다"고 말했다.

이번 발표의 요약 영상은 여기를 클릭하면 볼 수 있다.

추론 워크로드는 프리필(prefill)과 디코드(decode)의 두 단계로 구성된다. 프리필 단계에서는 입력 텍스트를 토큰으로 변환하고 대규모 언어 모델(LLM)이 이를 처리해 추론에 필요한 중간 KV 상태를 생성한다. 이미 계산된 이 KV 상태를 영구 저장형 KV 캐시에 저장하면 시스템은 후속 요청에서 동일한 컨텍스트를 다시 계산하지 않고 재사용할 수 있다. 에이전틱 워크플로, 코딩 도우미, 긴 컨텍스트를 활용하는 RAG, 멀티모달 AI, 다중 턴 애플리케이션은 대규모 코드베이스, 문서, 대화, 이미지 및 기타 컨텍스트를 처리하면서 KV 상태를 상당량 생성할 수 있다. 그 결과 GPU와 CPU 메모리 용량이 빠르게 초과되고 KV 캐시를 대용량 공유 네트워크 스토리지로 오프로드해야 할 필요가 생긴다.

슈퍼마이크로, IBM, 엔비디아의 KV 캐시 솔루션은 이 영구 저장 계층을 제공해 중복 연산을 줄이는 동시에 추론 효율, 처리량, 확장성을 개선하도록 돕는다.

고객이 KV 캐시 솔루션으로부터 얻는 편익은 다음과 같다.

공동 솔루션 검증 – 슈퍼마이크로, IBM, 엔비디아는 클러스터 수준에서 방대한 테스트를 실시했다. 높은 동시 처리 수준, 다른 워크로드의 간섭으로 네트워크 트래픽이 발생하는 시나리오까지 망라했다.
대폭 향상된 추론 속도와 일관된 성능 – 슈퍼마이크로와 엔비디아가 매개변수 1200억 개의 LLM으로 실시한 공동 테스트에서 영구 저장형 KV 캐시는 13만 토큰 프롬프트의 TTFT를 최대 56배 단축했다.^[1] 입력 길이가 3만 토큰에서 13만 토큰으로 늘었을 때 KV 캐시를 사용한 경우 TTFT는 0.377초 늘어나는 데 그쳤다. KV 캐시를 사용하지 않은 경우에는 29.55초 증가했다. 따라서 긴 컨텍스트 워크로드에서도 더욱 일관된 성능을 구현할 수 있다.
GPU 활용률과 처리량 향상 – 솔루션은 재사용이 잦은 컨텍스트를 GPU 메모리 외부에서 이용할 수 있도록 유지해 GPU 유휴 시간을 줄이고 추론 처리량을 높이며, GPU 자원을 비례해서 늘리지 않고도 더 많은 동시 요청을 처리하도록 도와준다.
기업급 복원력과 신뢰할 수 있는 AI 운영 – 가용도가 높은 영구 저장형 KV 캐시가 있으면 캐시에 저장된 추론 상태가 보호되고 GPU 노드와 클러스터 전반에서 공유 접근이 가능해 대규모 환경에서도 AI 서비스의 복원력과 스토리지 효율이 더 좋아진다.
검증된 턴키 AI 인프라 – 슈퍼마이크로와 IBM, 엔비디아는 NVIDIA Dynamo, IBM Storage Scale 소프트웨어, Supermicro Petascale 서버, NVIDIA Spectrum-X 네트워킹을 결합해 동시 처리 수준이 높고 다른 워크로드의 간섭이 발생하는 시나리오 전반에서 통합 아키텍처를 공동 검증했다.
신속한 구축 서비스 – 슈퍼마이크로의 공장 내 랙 통합과 현장 구축 서비스를 이용하면 솔루션의 구축 기간을 수 주에서 수일로 단축할 수 있다.

샘 워너(Sam Werner) IBM 스토리지 총괄은 "기업에는 AI 추론을 확장해 줄 수 있는 근본적으로 더 좋은 방식이 필요하다. IBM과 슈퍼마이크로, 엔비디아는 고객이 GPU 투자의 가치를 극대화하고 연산 자원과 독립적으로 확장하며 인프라 효율을 크게 높여주는 고성능의 강력한 복원력을 가진 KV 캐시 솔루션을 함께 제공하고 있다"며 "이번 협력은 기업용 AI 추론의 확장성과 신뢰성, 비용 대비 효율을 높여주는 중대한 진전"이라고 말했다.

슈루티 코파르카르(Shruti Koparkar) 엔비디아 AI 추론 제품 총괄은 "에이전틱 AI와 긴 컨텍스트 애플리케이션에서는 여러 단계에서 컨텍스트를 효율적으로 재사용하는 것이 핵심인데, NVIDIA Dynamo는 분산 추론을 조율해 기업에서 GPU별로 실질적으로 활용할 수 있는 처리량을 높여준다"며 "이번 KV 캐시 솔루션은 NVIDIA Dynamo 및 Spectrum-X Ethernet을 Supermicro Petascale 스토리지 서버, IBM Storage Scale과 결합한 제품으로 중복 연산을 줄이고 첫 토큰 생성 시간을 개선하며 고객에게 복원력 있는 AI 추론 서비스를 확장하는 고성능 공유 스토리지 계층을 구현해준다"고 말했다.

슈퍼마이크로와 IBM 솔루션에 관한 자세한 정보는 여기를 클릭하면 확인할 수 있다. IBM 레드북 한계 없는 컨텍스트: 대규모 AI 추론을 위한 고성능 KV 캐시 플랫폼(Context without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference)은 여기를 클릭하면 볼 수 있다.

슈퍼마이크로 컴퓨터 소개
슈퍼마이크로(나스닥: SMCI)는 애플리케이션 최적화 토털 IT 솔루션 분야의 글로벌 선도기업이다. 미국 캘리포니아주 새너제이에서 설립돼 사업을 영위하고 있으며 기업, 클라우드, AI, 5G 통신/엣지 IT 인프라 분야에서 혁신 기술을 시장에 가장 먼저 선보이기 위해 노력하고 있다. 슈퍼마이크로는 서버, AI, 스토리지, 사물인터넷(IoT), 스위치 시스템, 소프트웨어 및 지원 서비스를 제공하는 토털 IT 솔루션 공급업체다. 메인보드, 전원 및 섀시 설계에 대한 전문성은 개발과 생산 역량을 더욱 강화해 전 세계 고객을 대상으로 클라우드부터 엣지까지 차세대 혁신의 실현을 돕고 있다. 슈퍼마이크로는 미국, 아시아 및 네덜란드의 자체 시설에서 제품을 설계하고 제조하는 한편 글로벌 운영을 통해 규모의 경제와 효율성을 확보하고 총소유비용(TCO)을 개선하며 환경 영향이 줄어들도록 제품을 최적화하고 있다(그린 컴퓨팅). 고객은 수상 경력에 빛나는 Server Building Block Solutions® 포트폴리오를 통해 유연하고 재사용 가능한 빌딩 블록을 토대로 구축된 여러 시스템 제품을 만나볼 수 있다. 포괄적인 폼팩터, 프로세서, 메모리, GPU, 스토리지, 네트워킹, 전력 및 냉각 솔루션(공조, 프리 에어 냉각 또는 액체 냉각)을 조합해 원하는 워크로드와 애플리케이션에 맞게 최적화할 수 있다.

Supermicro, Server Building Block Solutions 및 We Keep IT Green은 슈퍼마이크로 컴퓨터의 상표 및/또는 등록상표다.

기타 모든 브랜드, 명칭 및 상표는 각 소유자의 자산이다.

1 결과의 상세 내용은 IBM 레드북 참조: https://www.redbooks.ibm.com/docs/MD260021/MD260021.html

SOURCE Super Micro Computer, Inc.