엔비디아, GPU 수십만 개 잇는 'AI 공장' 이더넷 '스펙트럼-6' 공개...이전 세대 2배인 초당 102조 비트 처리, 베라 루빈 플랫폼의 일부로 세계 대형 AI 데이터센터에 공급 시작...코어위브·마이크로소프트·테슬라 등 선도 기업 먼저 도입

[한국정보기술신문] 엔비디아(NVIDIA)가 수십만 개의 그래픽처리장치(GPU)를 하나로 잇는 새로운 인공지능(AI)용 이더넷 스위치 '스펙트럼-6(Spectrum-6)'를 공개했다. 엔비디아는 지난 7월 21일(현지시간) 자사 블로그를 통해 스펙트럼-6가 초당 102.4테라비트(Tbps)의 데이터를 처리하는 이더넷 스위치 시스템으로, 이전 세대의 두 배에 이르는 용량을 갖췄다고 밝혔다. 이 제품은 엔비디아의 차세대 AI 컴퓨팅 기반인 '베라 루빈(Vera Rubin)' 플랫폼의 일부로 설계됐으며, 세계 주요 대형 AI 데이터센터에 공급되기 시작했다. 이더넷은 여러 컴퓨터와 장비를 연결해 데이터를 주고받게 하는 대표적인 통신 기술이며, 스위치는 이 연결망에서 데이터가 오갈 길을 정해 주는 장비를 말한다.

엔비디아는 AI가 이른바 '기가스케일(gigascale)' 시대에 들어섰다고 설명했다. 기가스케일이란 수십만 개에 이르는 GPU와 중앙처리장치(CPU)를 한데 모아 최신 대형 AI 모델을 학습시키고, 스스로 여러 단계를 처리하는 AI를 구동하는 초대형 규모를 가리킨다. 회사는 이 정도 규모에서는 장비를 서로 잇는 통신망의 성능이 전체 연산 능력을 좌우하는 핵심 요소가 된다고 설명했다. 수많은 GPU가 쉬지 않고 데이터를 주고받아야 하는 만큼, 이들을 얼마나 빠르고 안정적으로 연결하느냐가 AI의 처리 속도를 결정한다는 것이다.

엔비디아는 GPU 한 개의 성능만으로는 더 이상 AI 데이터센터 전체의 성능을 가늠할 수 없다고 밝혔다. 대규모 AI 학습과 추론 작업은 수천 개의 연산 장치가 끊임없이 데이터를 주고받는 방식으로 이뤄지기 때문이다. 특히 여러 GPU가 계산 결과를 서로 맞추기 위해 동시에 데이터를 전송하는 이른바 '집합 통신'이 빈번하게 일어나면서, 장비와 장비 사이를 오가는 대량의 통신이 발생한다. 추론이란 학습을 마친 AI가 실제로 답을 내놓는 과정을 말한다.

회사는 기존 이더넷이 이런 AI 작업에 잘 맞지 않는다고 지적했다. 이더넷은 본래 사용자와 서버, 저장장치 사이를 오가는 일반 기업용 통신을 위해 만들어졌을 뿐, 수많은 장비가 한꺼번에 데이터를 주고받는 AI 특유의 통신 방식을 염두에 두고 설계된 것이 아니라는 것이다. 엔비디아는 스펙트럼-6가 속한 '스펙트럼-X(Spectrum-X)' 이더넷 플랫폼이 바로 이 문제를 풀기 위해 AI 전용으로 만들어졌다고 강조했다. 모든 GPU에 데이터가 끊기지 않고 공급되도록, 이더넷을 고성능 통신망으로 다시 설계했다는 설명이다.

엔비디아는 세계 주요 AI 인프라 기업들이 스펙트럼-6를 가장 먼저 도입한다고 밝혔다. 코어위브(CoreWeave), 마이크로소프트(Microsoft), 네비우스(Nebius), 스페이스X AI, 테슬라(Tesla) 등이 자사 AI 데이터센터의 속도를 끌어올리기 위해 이 제품을 앞서 들여온다는 것이다. 이 가운데 코어위브와 마이크로소프트, 네비우스는 스펙트럼-6를 탑재한 베라 루빈 기반 설비를 처음으로 구축하는 사업자에 포함된다. 엔비디아는 클라우드 사업자의 경우 스펙트럼-6를 통해 더 많은 연산 자원을 하나의 고성능 자원처럼 묶어 쓸 수 있어, 고객이 모델을 학습시키고 추론 서비스를 더 빠르게 내놓는 데 도움이 된다고 설명했다.

민 준 코어위브 네트워킹 제품 담당 이사는 자사가 까다로운 AI 작업을 위해 만들어진 기업이며 통신망이 그 성능을 대규모로 구현하는 데 핵심이라고 밝혔다. 그는 스펙트럼-6와 액체로 열을 식히는 스펙트럼-X 이더넷 설비를 도입하면, 고객이 최신 대형 모델을 학습시키고 추론 서비스를 더 빠르게 운영하는 데 필요한 대역폭과 안정성, 효율을 제공할 수 있을 것이라고 설명했다. 대역폭이란 한 번에 주고받을 수 있는 데이터의 양을 뜻한다.

로렐 로즈먼 네비우스 글로벌 파트너십 부사장은 초대형 규모에서는 모든 GPU가 한 치의 어긋남 없이 발을 맞추도록 유지해, 느린 연결 하나가 전체 작업을 멈춰 세우지 않게 하는 것이 성능의 관건이라고 밝혔다. 그는 스펙트럼-6가 바로 이 문제를 겨냥한 제품이며, 고객의 가장 무거운 작업이 커지더라도 빠르고 안정적으로 버티는 통신망이기에 일찍 도입했다고 덧붙였다.

스펙트럼-6는 스위치 역할을 하는 반도체 칩과 '커넥트X-9 슈퍼닉(ConnectX-9 SuperNIC)'이라는 부품이 짝을 이뤄 차세대 스펙트럼-X 이더넷을 구성한다. 슈퍼닉은 각 서버를 통신망에 연결해 주는 고성능 부품을 말한다. 이 조합은 베라 루빈 플랫폼의 일부로 함께 설계됐는데, 베라 루빈은 베라 CPU와 루빈 GPU, 엔비링크 6 스위치, 커넥트X-9 슈퍼닉, 블루필드-4 DPU, 그리고 스펙트럼-6 이더넷 스위치를 하나로 묶은 것이다. DPU는 통신과 데이터 처리를 전담해 GPU와 CPU의 부담을 덜어 주는 보조 장치를 가리킨다.

스펙트럼-6는 열을 식히는 방식으로 액체 냉각을 지원한다. 액체 냉각은 물이나 특수 용액을 순환시켜 장비의 열을 빼내는 방식으로, 공기로 식히는 것보다 효율이 높다. 엔비디아는 이를 통해 AI 데이터센터 전체를 하나의 방식으로 냉각하면서도 통신망의 전력 효율을 높일 수 있다고 밝혔다. 또한 이 제품은 통신망을 여러 경로로 나눠 데이터를 고르게 흘려보내고, 고장이 난 부분을 빠르게 피해 가며, 목적지에 닿지 못한 데이터를 정확히 되살리는 기능을 갖췄다고 설명했다. 아울러 여러 회사의 통신 소프트웨어를 함께 쓸 수 있도록 개방형 방식도 지원해, 도입 기업이 성능을 해치지 않으면서 선택의 폭을 넓힐 수 있게 했다고 덧붙였다.

엔비디아는 스펙트럼-X 이더넷이 시중의 일반 이더넷보다 AI 통신 성능이 최대 1.6배 높으며, GPU 10만 개를 넘는 대규모 설비에서도 통신망 효율을 최대 95%까지 유지한다고 밝혔다. 또 여러 경로를 겹쳐 쓰는 기술로 데이터센터에 필요한 스위치 수를 1.7배가량 줄일 수 있다고 설명했다. 빛을 이용해 데이터를 전송하는 '포토닉스' 기술을 더하면 전력 효율이 5배 높아지고, 고장과 고장 사이의 평균 간격도 10배 길어진다고 덧붙였다. 엔비디아는 이렇게 부품 하나하나를 개별적으로 손보는 수준을 넘어, 통신망 전체를 함께 설계함으로써 작업 속도를 끌어올릴 수 있다고 강조했다.