AI 경쟁의 승부처, 연산 성능에서 ‘메모리 계층 구조’로 이동…SK하이닉스, 풀스택 포트폴리오로 대응

[한국정보기술신문] 인공지능(AI) 경쟁의 초점이 연산 성능에서 데이터를 저장하고 이동시키며 다시 활용하는 인프라 역량으로 확대되고 있다. SK하이닉스는 3일 뉴스룸을 통해 이러한 변화를 짚으며, 고대역폭메모리(HBM)부터 기업용 솔리드스테이트드라이브(eSSD)까지 아우르는 이른바 ‘풀스택’ 포트폴리오로 다양한 AI 워크로드에 대응하겠다는 전략을 제시했다.

그동안 AI 시장의 관심은 더 큰 모델, 더 빠른 가속기, 더 높은 연산 성능에 집중돼 왔다. 그러나 AI가 검색과 기업 업무, 콘텐츠 생성, 제조, 데이터센터, 개인 디바이스로 확산되면서 인프라를 평가하는 기준도 달라지고 있다. 이제 경쟁력은 얼마나 빠르게 연산하느냐뿐 아니라, 데이터를 어디에 두고 어떤 계층에서 처리하며 필요한 순간에 얼마나 빠르게 불러오느냐에 따라 갈린다는 것이 SK하이닉스의 설명이다.

SK하이닉스는 최신 AI 메모리 포트폴리오로 HBM4와 HBM4E, 저전력 D램 기반 AI 서버 특화 모듈인 SOCAMM, 모바일 D램인 LPDDR, eSSD 제품군을 함께 제시했다. 단일 제품의 성능을 넘어 메모리 계층 전반의 설계로 경쟁이 확장되고 있음을 보여주는 구성이다.

수요 전망도 이런 흐름을 뒷받침한다. SK하이닉스가 인용한 시장조사기관 가트너 자료에 따르면 2026년 HBM과 서버 D램 매출은 전년 대비 각각 92%, 60% 증가할 것으로 전망됐다. 또 다른 조사기관 옴디아는 같은 기간 eSSD 매출이 130% 늘어날 것으로 내다봤다. AI 인프라가 특정 메모리 하나가 아니라 여러 계층의 메모리와 스토리지를 함께 활용하는 구조로 진화하고 있다는 분석이다.

이 변화의 배경에는 AI 작업의 무게 중심이 ‘학습’에서 ‘추론’으로 이동하는 흐름이 있다. 학습은 대규모 데이터셋을 기반으로 모델을 만드는 과정으로, 막대한 연산 성능과 높은 메모리 대역폭이 요구된다. 수많은 파라미터를 처리하고 데이터를 반복적으로 읽고 쓰기 때문에 가속기 가까이에서 대량의 데이터를 빠르게 공급하는 메모리가 핵심 역할을 한다.

반면 추론은 학습을 마친 모델이 실제 사용자 요청에 응답하는 단계다. 검색 결과를 요약하고 문서를 생성하며 추천을 제공하는 과정이 모두 여기에 해당한다. AI 서비스가 대중화될수록 추론은 더 자주, 더 다양한 환경에서, 더 큰 규모로 발생한다.

요구되는 조건도 달라진다. 학습에서 대역폭과 용량이 우선이라면, 추론에서는 빠른 응답성과 전력 효율, 데이터 접근성, 문맥 유지 능력이 함께 중요해진다. 필요한 데이터를 빠르게 찾아오고 이전 맥락을 유지하며 결과를 다음 작업으로 연결하는 능력이 인프라 성능을 좌우한다는 것이다.

최근 AI 서비스의 진화는 ‘문맥 데이터’ 증가와 맞물려 있다. 이전 대화와 문서, 검색 결과, 기업 내부 데이터 등 AI가 참고해야 하는 정보가 빠르게 늘고 있다. 긴 문맥을 다루는 대형 언어모델이나 여러 단계를 수행하는 AI 시스템은 과거 정보를 저장하고 외부 데이터를 불러와 다시 처리 과정에 연결해야 한다. 데이터가 어느 계층에 있는지, 접근 속도는 어떤지, 메모리와 스토리지 사이 이동이 얼마나 효율적인지가 전체 성능에 직접 영향을 준다.

스스로 목표를 세우고 여러 단계를 계획해 작업을 수행하는 ‘에이전틱 AI’의 확산은 이 흐름을 더 복잡하게 만든다. 예컨대 AI 에이전트가 보고서를 작성하려면 내부 문서를 검색하고 이전 맥락을 반영한 뒤 데이터를 분석하고 결과를 다시 요약해야 한다. 이 과정에서 데이터를 반복적으로 읽고 쓰고 검색하고 갱신하는 흐름이 발생한다.

이 때문에 추론 인프라에서는 HBM의 역할에 더해 시스템 메모리와 스토리지 계층의 중요성도 함께 커지고 있다. 특히 대규모 문맥 데이터를 안정적으로 저장하고 빠르게 불러오는 eSSD의 역할이 부각된다. SK하이닉스가 AI용 낸드 전략에서 245테라바이트(TB) QLC eSSD와 차세대 고성능 스토리지 기술을 강조하는 것도 같은 맥락이다.

SK하이닉스는 AI 인프라가 메모리 계층 구조로 진화하면서 모든 워크로드에 같은 해법을 적용하기 어려워졌다고 봤다. 대규모 학습에는 높은 대역폭과 대용량 메모리가, 고성능 추론에는 빠른 응답성과 효율적 데이터 처리가 필요하다. AI PC와 온디바이스 AI에서는 전력 효율과 폼팩터가, 데이터센터에서는 안정적인 저장과 빠른 검색 능력이 핵심 조건이 된다.

이런 관점에서 회사는 HBM과 AI-DRAM, AI-NAND의 3축을 워크로드별 계층을 이해하는 기준으로 제시했다. HBM은 가속기 가까이에서 대역폭 병목을 줄이고, AI-DRAM은 서버와 시스템 메모리 영역의 성능과 효율을 뒷받침하며, AI-NAND는 추론과 데이터센터에서 커지는 저장·검색 수요에 대응한다는 것이다.

SK하이닉스는 자사의 가치가 개별 제품 성능을 넘어 서로 다른 워크로드에 맞춰 메모리와 스토리지 계층을 설계하고 하나의 데이터 흐름 안에서 최적화하는 역량에 있다고 강조했다. 회사는 “AI의 다음 단계는 더 큰 모델이나 더 빠른 가속기만으로 결정되지 않으며, 데이터를 얼마나 효율적으로 이동·저장·활용하는지가 시스템 경쟁력을 좌우할 것”이라며 “풀스택 AI 메모리 역량을 바탕으로 AI 시스템 구현을 지속 지원하겠다”고 밝혔다.