엔비디아 '베라 루빈' AI 시스템, 전 세계로 확산...전력당 성능·토큰당 비용 앞세워 대형 클라우드에 도입...코어위브·구글 클라우드·MS·오라클서 가동, 30개국 350여 공장서 생산 이어져

[한국정보기술신문] 엔비디아(NVIDIA)의 차세대 인공지능(AI) 컴퓨팅 시스템 '베라 루빈(Vera Rubin)'이 전 세계 대형 데이터센터로 본격 확산되고 있다. 엔비디아는 지난 7월 21일(현지시간) 자사 블로그를 통해 베라 루빈의 핵심 제품인 '베라 루빈 NVL72'의 양산을 확대하고 있으며, 코어위브(CoreWeave)와 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드 인프라스트럭처 등 주요 클라우드 사업자에서 이 시스템이 가동에 들어갔다고 밝혔다. 데이터센터란 수많은 서버 컴퓨터를 한데 모아 두고 데이터를 저장·처리하는 대형 시설을 말하며, 클라우드 사업자는 이런 설비를 빌려주는 회사를 가리킨다.

엔비디아에 따르면 베라 루빈의 생산은 30개 나라에 걸친 350여 곳의 공장에서 이뤄지고 있으며, 약 300개의 협력사가 참여하고 있다. 회사는 이를 두고 지금까지 갖춰진 것 가운데 가장 크고 성숙한 '랙 단위' 공급망이라고 설명했다. 랙(rack)이란 여러 대의 서버 장비를 층층이 끼워 넣는 표준 골격을 말하며, 베라 루빈은 낱개 부품이 아니라 이 랙 하나를 통째로 묶어 하나의 컴퓨터처럼 쓰도록 설계됐다.

엔비디아가 이번에 거듭 강조한 것은 전력 대비 성능과 '토큰당 비용'이다. 토큰이란 AI가 글이나 데이터를 처리할 때 다루는 최소 단위로, 같은 전력으로 더 많은 토큰을 처리할수록 더 많은 계산을 더 싸게 해내는 셈이 된다. 엔비디아는 베라 루빈이 칩 하나하나부터 전력을 공급하는 설비에 이르기까지 전 과정을 함께 설계해, 전력 1메가와트당 성능을 가장 높이고 토큰당 비용을 가장 낮추는 데 초점을 맞췄다고 밝혔다.

이런 접근의 근거로 회사는 코어위브의 시험 결과를 들었다. 코어위브가 중국 AI 기업의 추론 모델인 '딥시크-R1(DeepSeek-R1)'을 돌려 본 결과, 전력 1메가와트당 처리량이 이전 세대 시스템인 '그레이스 블랙웰 NVL72'보다 10배 높게 나왔다는 것이다. 추론이란 이미 학습을 마친 AI가 실제로 질문에 답을 내놓는 과정을 말한다.

엔비디아는 베라 루빈의 성능이 '극단적 협업 설계(extreme co-design)'에서 나온다고 설명했다. 협업 설계란 여러 부품을 따로 만들어 나중에 조립하는 대신, 처음부터 하나의 시스템으로 함께 설계하는 방식을 말한다. 베라 루빈은 일곱 종류의 칩과 다섯 개의 랙 구성 요소를 별도의 기성품이 아니라 하나의 시스템으로 묶어 만들었다.

이 시스템의 중심에는 새 중앙처리장치(CPU)인 '베라(Vera)'가 있다. CPU는 컴퓨터에서 여러 작업의 순서를 정하고 전체를 지휘하는 두뇌 격의 부품이다. 엔비디아는 베라 CPU에 자체 개발한 '올림푸스(Olympus)' 코어를 넣어, 여러 조각을 이어 붙이는 방식의 경쟁 제품과 견줘 한 번에 하나의 작업을 처리하는 속도가 2배, 코어와 코어 사이에서 데이터를 주고받는 대역폭이 3배 빠르고, 데이터를 불러오는 데 걸리는 지연은 40% 낮다고 밝혔다. 회사는 이 CPU가 스스로 여러 단계를 처리하는 이른바 'AI 에이전트' 작업에 특히 알맞다고 설명했다. AI 에이전트란 사람이 일일이 지시하지 않아도 목표를 받아 스스로 판단하고 여러 단계를 밟아 일을 처리하는 AI를 말한다.

베라 루빈은 그래픽처리장치(GPU) 수만~수십만 개를 한데 묶어 쓰는 만큼, 이들을 잇는 통신망도 함께 개선했다. GPU는 원래 화면을 그리는 부품이었으나 많은 계산을 한꺼번에 처리하는 데 강해 오늘날 AI 계산의 핵심 장치로 쓰인다.

엔비디아는 GPU들을 가까이 묶는 6세대 'NVLink' 통신 기술이 기성 이더넷보다 처리량은 2배 이상 높고, 지연은 3분의 1로 줄었으며, 데이터 묶음을 주고받는 속도는 10배 빠르다고 밝혔다. 서로 멀리 떨어진 장비를 잇는 데는 '스펙트럼-X 이더넷'을 쓰며, 여기에는 초당 102.4테라비트(Tbps)를 처리하는 스펙트럼-6 스위치와 초당 1.6테라비트급 '커넥트X-9 슈퍼닉'이 들어간다. 슈퍼닉은 서버가 통신망과 빠르게 데이터를 주고받도록 돕는 전용 부품이다.

빛으로 데이터를 전송하는 '포토닉스' 기술을 더하면 전력 효율이 5배 높아지고 고장과 고장 사이의 평균 간격도 10배 길어진다고 회사는 설명했다. 또 여러 지역의 데이터센터를 잇는 '스펙트럼-XGS 이더넷'은 다지점 처리량을 1.9배 높였다고 밝혔다. 아울러 'NVLink 퓨전'을 통해 다른 회사가 만든 연산 장치도 엔비디아의 통신 기반에 연결할 수 있도록 문을 열었다.

엔비디아는 세 세대에 걸친 랙 설계 개선을 통해 베라 루빈 NVL72의 연산 트레이(장비를 얹는 층)에서 케이블과 팬, 냉각용 호스를 없앴다고 밝혔다. 이를 통해 연산 트레이 한 개를 조립하는 데 걸리던 시간을 수 시간에서 1분으로 줄였다는 것이다.

냉각 방식도 바꿨다. 섭씨 45도의 비교적 높은 온도로 액체를 흘려보내는 냉각 설계를 적용해, 별도의 냉각기 없이 바깥 공기만으로 열을 식힐 수 있도록 했다. 액체냉각은 물이나 특수 액체를 흘려보내 장비의 열을 식히는 방식이다. 엔비디아는 이 방식과 밀폐형 액체냉각을 함께 쓰면 새 AI 데이터센터에서 전력 1메가와트당 해마다 수백만 갤런의 물을 아낄 수 있다고 설명했다.

베라 루빈은 유럽의 AI 기반 시설에도 쓰인다. 엔비디아는 이 시스템이 마이크로소프트와 프랑스 AI 기업 미스트랄(Mistral)이 확대한 협력의 토대가 된다고 밝혔다. 두 회사는 수십억 달러 규모의 새 협약을 맺고 유럽의 AI 기반 시설을 확충하기로 했으며, 미스트랄은 최신 베라 루빈 GPU 수천 개를 동원해 자사의 컴퓨팅 용량을 늘린다.

이 협력의 핵심은 이른바 '주권 AI(sovereign AI)'다. 주권 AI란 한 나라나 지역이 자국의 법과 통제 아래에서 데이터를 다루며 운영하는 AI를 말한다. 정부 기관이나 의료·금융처럼 규제가 엄격한 분야가 각자의 규정을 지키면서 AI를 쓸 수 있도록 하겠다는 것이다. 엔비디아는 베라 루빈 NVL72가 이전 세대인 'GB200 NVL72'와 견줘 전력 1메가와트당 토큰 처리량이 최대 10배 많고, 100만 토큰을 처리하는 데 드는 비용은 10분의 1 수준이라고 밝혔다.

코어위브는 여러 달에 걸친 공동 작업 끝에 베라 루빈 NVL72를 처음으로 가동·검증한 AI 클라우드가 됐다고 엔비디아는 전했다. 코어위브의 시험에서 딥시크-R1은 전력 1메가와트당 초당 토큰 처리량이 그레이스 블랙웰 NVL72보다 10배 높게 나왔다. 이는 랙 전체가 초당 260테라바이트(TB)에 이르는 내부 통신망으로 묶여 하나의 장치처럼 작동한 덕분이라는 설명이다. AI 연구소와 금융사인 제인 스트리트(Jane Street) 등이 이 시스템을 도입해 자사 AI 설비를 확장할 예정이다.

구글 클라우드는 베라 루빈 NVL72를 기반으로 한 첫 'A5X' 서비스를 선보였고, 런던의 스타트업 이니퍼블 인텔리전스(Ineffable Intelligence)가 이를 처음 쓰고 있다. 이 회사는 스스로 경험을 쌓아 가며 학습하는 새로운 AI 체계를 개발하고 있다. 라세 에스페홀트 공동창업자는 다음 세대 연구에는 다음 세대 하드웨어가 필요하다며, 엔비디아와 구글 클라우드의 도움으로 곧바로 시스템을 가동해 시험에 들어갔다고 밝혔다. 구글은 A5X가 이전 세대보다 토큰당 추론 비용은 10분의 1로 낮고, 전력당 처리량은 10배 높다고 설명했다.

이와 함께 클라우드 기업 딥인프라(DeepInfra)의 자체 시험에서는 베라 CPU가 다른 CPU보다 작업을 배분하고 조율하는 속도가 최대 2.2배 빠르고, 같은 품질을 유지하면서 동시에 처리할 수 있는 AI 에이전트 수는 최대 1.6배 많은 것으로 나타났다. 딥인프라는 매주 약 5조 개의 토큰을 처리하며, 그 가운데 30%가량이 에이전트 작업이라고 밝혔다.