[반도체/메모리] HBM 다음은 무엇인가 - AI 시대 메모리 패권의 다음 전장

GPU 다음은 메모리, 그리고 HBM 이후를 묻는 질문

 

AI 반도체 경쟁이 본격화된 이후, 시장의 관심은 한동안 GPU 성능에 집중되어 왔습니다.

그러나 실제 현장에서는 이미 다른 질문이 던져지고 있습니다.

“GPU는 충분히 빨라졌는데, 왜 체감 성능은 더 이상 크게 오르지 않는가?”라는 질문입니다.

이 질문의 답은 대부분 메모리에서 시작됩니다.

 

HBM(High Bandwidth Memory)은 AI 시대의 병목을 해결하며 GPU 성능을 해방시킨 핵심 기술이었고,

SK하이닉스를 중심으로 한 HBM 독주 체제는 이미 하나의 산업 질서로 굳어졌습니다.

하지만 2025년을 기점으로 업계는 다시 한 번 다음 단계를 바라보고 있습니다.

HBM 다음은 무엇인가, 그리고 AI 시대의 메모리 패권은 어디로 이동하는가라는 질문입니다.

 

이번 포스팅에서는 HBM의 한계를 짚고,

HBM 이후를 준비하는 차세대 메모리 기술들을 구조적으로 비교하며,

향후 메모리 패권 경쟁의 방향을 분석해보겠습니다.

 

---

 

HBM이 만든 혁신과 동시에 드러난 한계

 

HBM은 분명 AI 시대 최고의 메모리 해법이었습니다.

GPU 바로 옆에 3D 적층된 메모리를 배치함으로써 대역폭과 지연시간 문제를 동시에 해결했고,

대규모 모델 훈련과 추론을 가능하게 만들었습니다.

하지만 HBM이 만능은 아닙니다.

 

첫째, 확장성의 한계입니다.

HBM은 GPU 패키지 내부에 제한된 개수만 탑재할 수 있으며,

GPU 하나당 장착 가능한 메모리 용량에는 물리적 한계가 존재합니다.

모델 파라미터가 수천억, 수조 단위로 커지는 상황에서 이는 점점 더 큰 제약이 됩니다.

 

둘째, 비용 문제입니다.

TSV 적층 공정과 고난도 패키징이 요구되는

HBM은 단가가 매우 높고, 수율 리스크도 큽니다.

AI 데이터센터가 대규모로 확장될수록 HBM 의존 구조는 비용 부담을 빠르게 키웁니다.

 

셋째, 메모리 계층 구조의 경직성입니다.

HBM은 GPU에 매우 가깝게 위치하지만, 그

바깥의 메모리 계층(DRAM, 스토리지)과는 여전히 큰 성능 격차가 존재합니다.

이 격차가 바로 다음 전장을 부르는 이유입니다.

 

---

 

AI 메모리의 다음 과제 – “더 넓게, 더 유연하게”

 

HBM 이후의 메모리 경쟁은 단순히 “더 빠른 메모리”의 문제가 아닙니다.

핵심은 세 가지로 요약됩니다.

 

첫째, 용량의 확장성입니다.

AI 모델은 더 이상 GPU 내부에만 머물 수 없으며,

대규모 메모리 풀을 유연하게 활용할 수 있어야 합니다.

 

둘째, 메모리 접근 방식의 변화입니다.

CPU–GPU–메모리라는 전통적인 계층 구조를 넘어,

여러 연산 유닛이 동일한 메모리 자원을 공유하는 구조가 요구됩니다.

 

셋째, 전력과 비용 효율성입니다.

AI 데이터센터의 최대 제약은 전력과 냉각이며,

메모리는 이 문제의 중심에 있습니다.

 

이 세 가지 요구가 교차하는 지점에서,

HBM 이후의 기술들이 등장하고 있습니다.

 

---

 

차세대 후보 ① HBM4·HBM4E – 진화의 연장선

 

가장 먼저 언급해야 할 것은 HBM의 직접적인 진화인 HBM4와 HBM4E입니다.

이는 “HBM 이후”라기보다는 “HBM의 다음 세대”에 가깝지만, 여전히 중요한 의미를 가집니다.

 

HBM4는 대역폭을 더욱 확장하고, 인터페이스를 단순화하여

GPU와의 연결 효율을 높이는 방향으로 발전하고 있습니다.

적층 수는 늘어나고, 전력 효율은 개선되며,

AI 가속기 하나당 처리 가능한 데이터량은 계속 증가합니다.

 

그러나 HBM4 역시 근본적인 구조는 HBM과 동일합니다.

즉, GPU 패키지 내부 중심의 고성능 메모리라는 틀은 유지됩니다.

이는 성능 측면에서는 최상급이지만, 확장성과 비용 문제를 완전히 해결하지는 못합니다.

 

---

 

차세대 후보 ② CXL 메모리 – 진짜 게임 체인저

 

HBM 이후 메모리 패권 경쟁에서 가장 주목받는 기술은

단연 CXL(Compute Express Link)입니다.

CXL은 메모리 그 자체라기보다,

메모리를 공유하는 방식의 혁신에 가깝습니다.

 

CXL 기반 메모리는 CPU, GPU, AI 가속기가 동일한 메모리 풀을 공유할 수 있도록 합니다.

이는 “메모리는 특정 프로세서에 귀속된다”는 기존 개념을 깨뜨리는 변화입니다.

 

AI 관점에서 CXL의 의미는 매우 큽니다.

대규모 모델을 GPU 내부 HBM에 모두 올릴 필요 없이,

외부 메모리 풀을 필요에 따라 확장할 수 있기 때문입니다.

이는 곧 비용 절감과 시스템 유연성으로 이어집니다.

 

HBM이 “초고속 단거리 메모리”라면,

CXL 메모리는 “고속 장거리 메모리”로서

AI 시스템의 외연을 넓혀주는 역할을 합니다.

앞으로의 AI 아키텍처는 HBM과 CXL 메모리를 함께 사용하는

이중 구조로 진화할 가능성이 매우 높습니다.

 

---

 

차세대 후보 ③ PIM·NDP – 연산이 메모리로 들어간다

 

또 하나의 중요한 흐름은

PIM(Processing-In-Memory)과 NDP(Near Data Processing)입니다.

이는 메모리에서 데이터를 불러와 연산하는 기존 방식 대신,

연산을 메모리 가까이 옮기는 접근입니다.

 

AI 연산에서 가장 큰 전력 소모는

연산 자체보다 데이터 이동에서 발생합니다.

PIM은 이 이동을 최소화함으로써 전력 효율을 극적으로 개선할 수 있습니다.

 

다만 PIM은 아직 범용 AI 훈련보다는

특정 연산 패턴에 특화된 영역에서 먼저 적용될 가능성이 큽니다.

예를 들어, 추론, 그래프 연산, 추천 시스템과 같은 분야에서

점진적으로 활용될 것으로 보입니다.

 

---

 

차세대 후보 ④ 차세대 비휘발성 메모리 – 아직은 준비 단계

 

MRAM, ReRAM, PCM과 같은

차세대 비휘발성 메모리도 오랫동안 “차세대 메모리”로 언급되어 왔습니다.

이들은 전원을 꺼도 데이터가 유지되고,

이론적으로는 DRAM을 대체할 잠재력을 가지고 있습니다.

 

그러나 2025년 기준으로 볼 때,

이들 기술은 AI 주력 메모리로 쓰이기에는 아직 성숙도가 부족합니다.

다만 특정 캐시 계층이나 저전력 엣지 AI 영역에서는

점진적으로 역할을 확대할 가능성이 있습니다.

 

---

 

메모리 패권의 방향 – “HBM 단독 시대는 끝나간다”

 

앞으로의 메모리 패권은

하나의 기술이 독점하는 구조가 아닐 가능성이 큽니다.

대신 다음과 같은 역할 분담 구조가 자리 잡을 것으로 보입니다.

 

• GPU 바로 옆 : HBM4·HBM4E
• 확장 메모리 풀 : CXL 메모리
• 전력 효율 특화 연산 : PIM·NDP
• 보조 계층 및 특수 용도 : 차세대 비휘발성 메모리

 

이 구조에서 중요한 점은,

HBM을 지배한 기업이 자동으로 다음 전장에서도 승자가 되지는 않는다는 사실입니다.

CXL, 시스템 아키텍처, 소프트웨어 스택까지 아우르는

종합 역량이 새로운 경쟁력을 결정하게 됩니다.

 

---

 

HBM 이후의 진짜 싸움은 “메모리를 지배하는 방식”이다

 

HBM은 AI 시대를 연 결정적 기술이었지만,

그 자체가 종착점은 아닙니다.

AI 모델은 계속 커지고, 데이터센터는 더 거대해지며,

전력과 비용의 제약은 더욱 심해지고 있습니다.

이 흐름 속에서 메모리는 단순한 부품이 아니라

AI 시스템 전체의 구조를 규정하는 핵심 요소가 되고 있습니다.

 

HBM 이후의 전장은 “누가 더 빠른 메모리를 만드느냐”가 아니라,

누가 메모리를 더 유연하게 연결하고, 더 효율적으로 쓰게 만드느냐의 싸움입니다.

 

AI 시대 메모리 패권의 다음 승자는,

HBM을 잘 만드는 기업이 아니라

HBM을 넘어 메모리 생태계를 설계할 수 있는 기업이 될 가능성이 큽니다.