AI 전용 메모리 – PIM(Processing In Memory) 기술

메모리와 연산을 하나로 묶는 차세대 AI 컴퓨팅 패러다임

 

 

PIM?

2025년 현재 전 세계 IT 업계의 화두는 단연 AI 반도체입니다. GPT-5와 같은 초거대 언어 모델은 수천억~수십조 개의 파라미터를 학습·추론하며, 이를 위해서는 막대한 연산 성능과 메모리 대역폭이 필요합니다. 그러나 기존 폰 노이만 아키텍처(von Neumann architecture)에서는 메모리와 프로세서 간 데이터 이동 병목(Bottleneck)이 심각한 문제로 대두되고 있습니다.

 

특히 AI 연산은 데이터 이동량이 크고, 행렬·벡터 곱셈이 반복되며, 병렬성이 높기 때문에 기존 CPU·GPU·NPU 구조만으로는 전력 소모와 처리 속도 한계를 극복하기 어렵습니다. 이를 해결하기 위해 등장한 것이 바로 PIM(Processing In Memory), 즉 메모리 내 연산 기술입니다.

 

PIM은 단순히 데이터를 저장하는 역할에 머무르던 메모리에 연산 기능을 결합하여, 데이터를 메모리에서 직접 처리하도록 하는 기술입니다. 다시 말해, 데이터를 메모리와 프로세서 사이에서 끊임없이 전송하지 않고, 저장된 자리에서 바로 계산할 수 있게 해 줍니다. 이는 AI 시대에 요구되는 초고속·저전력 연산을 가능하게 하는 차세대 기술 패러다임으로 평가받고 있습니다.

 

---

1. PIM의 기본 개념과 등장 배경

1) 폰 노이만 병목(von Neumann Bottleneck)

• 전통적 컴퓨터 구조에서는 CPU(연산 장치)와 DRAM(메모리)이 분리되어 있습니다.
• 데이터가 연산을 위해 항상 메모리 ↔ CPU 간 이동해야 하며, 이 과정에서 지연(latency)과 에너지 소모가 발생합니다.
• AI·빅데이터 환경에서는 데이터 이동 에너지가 전체 시스템 전력의 50% 이상을 차지하기도 합니다.

2) PIM의 정의

• 메모리 내부(특히 DRAM, HBM 등)에 간단한 연산 회로를 추가하여, 메모리에서 직접 연산을 수행하는 구조
• 데이터 이동을 최소화하여 지연을 줄이고, 전력 효율을 높입니다.

3) 등장 배경

• AI 모델의 크기와 연산량 폭증
• 3D 적층 메모리(HBM, HMC)의 발전으로 메모리 내 회로 집적이 가능해짐
• 저전력·고성능 컴퓨팅 수요 증가

---

2. PIM의 동작 원리

1) 메모리 중심 컴퓨팅

• PIM은 데이터를 메모리 뱅크 내에서 직접 연산합니다.
• 예시 : DRAM 내부에 단순한 ALU(Arithmetic Logic Unit) 기능을 넣어 벡터 연산, 비교 연산 등을 수행

2) 연산 방식

• 단순 연산 : AND, OR, XOR 같은 비트 연산
• 벡터·행렬 연산 : AI에서 자주 쓰이는 MAC(Multiply-Accumulate) 연산을 DRAM 어레이에서 직접 수행

3) 메모리 기술별 PIM 구현

• DRAM-PIM : 기존 DRAM에 연산 유닛을 통합 (삼성전자 HBM-PIM, SK하이닉스 GDDR-PIM)
• ReRAM/PCM 기반 PIM : 메모리 소자의 아날로그 특성을 활용하여 MAC 연산을 병렬 처리
• 3D 적층 HBM 기반 : 고대역폭 메모리와 병렬 연산을 결합

---

 

3. PIM의 장점

1. 데이터 이동 최소화
   • DRAM 내에서 직접 연산 → CPU·GPU ↔ 메모리 간 전송 대폭 감소
2. 에너지 효율
   • 데이터 전송 전력은 연산 전력보다 훨씬 큽니다.
   • PIM은 AI 학습 시 전력 소모를 최대 70%까지 절감할 수 있다는 연구 결과도 있습니다.
3. 성능 향상
   • 메모리 대역폭 문제를 완화하여, AI 연산 속도를 2~10배까지 향상 가능
4. 시스템 단순화
   • 메모리와 연산 기능을 통합함으로써 시스템 설계 유연성이 높아집니다.

---

4. PIM의 한계와 도전 과제

1. 범용성 부족
   • PIM은 특정 연산(벡터, MAC)에 특화 → 범용 CPU/GPU처럼 다양한 연산을 처리하기 어렵습니다.
2. 메모리 표준과의 호환성
   • 기존 DRAM 인터페이스와 호환해야 대량 채택이 가능
   • JEDEC 같은 표준화 기구의 합의가 필요
3. 공정 복잡성
   • DRAM 공정과 로직 공정을 결합하는 것은 기술적으로 까다롭습니다.
   • 수율 저하, 제조 비용 상승 가능성
4. 소프트웨어 생태계 미비
   • PIM을 활용하려면 AI 프레임워크(TensorFlow, PyTorch)와의 연계가 필요
   • 컴파일러·드라이버·API 개발이 아직 초기 단계

 

---

5. PIM 연구 및 산업 동향

1) 삼성전자 – HBM-PIM (Aquabolt-XL)

• 2021년 업계 최초로 HBM2에 PIM 기능을 결합한 HBM-PIM 발표
• 기존 AI 가속기에 장착하여, 성능 2배·전력 효율 70% 개선 성과
• 2022년에는 GPU·CPU와 함께 동작하는 Heterogeneous PIM 개념 제시

2) SK하이닉스 – GDDR6-AiM (Accelerator in Memory)

• 2022년 공개, GDDR6 DRAM에 연산 기능 내장
• AI 추론용 가속기에서 성능 16배 향상 데모

3) 인텔·마이크론

• HMC(Hybrid Memory Cube) 기반 PIM 연구
• CPU·FPGA와 PIM 결합을 통해 HPC 및 데이터센터 응용 탐색

4) 학계 연구

• 스탠퍼드, MIT, KAIST, 서울대 등에서 ReRAM 기반 아날로그 PIM, DRAM 기반 디지털 PIM 활발히 연구
• 특히 ReRAM PIM은 초병렬 MAC 연산으로 초거대 AI 모델 학습에 유망

 

---

6. PIM의 응용 분야

1. AI 학습·추론 가속기
   • 초거대 언어 모델(LLM), 이미지·음성 인식 등에서 전력·속도 개선
2. 데이터센터 & HPC
   • 메모리 대역폭 병목 해소 → 슈퍼컴퓨터 성능 향상
3. 엣지 컴퓨팅
   • 모바일, IoT 기기에 탑재 시, 클라우드 의존 줄이고 로컬 AI 처리 가능
4. 그래프 연산
   • 추천 시스템, 소셜 네트워크 분석 등 메모리 집약적 그래프 처리에 최적

 

---

7. PIM vs 기존 구조 비교

구분	기존 CPU/GPU 구조	PIM 구조
연산 위치	프로세서	메모리 내부
데이터 이동	메모리 ↔ CPU 빈번	이동 최소화
전력 소모	높음 (전송 전력 ↑)	낮음 (전송 ↓)
응용 분야	범용	AI, 빅데이터 특화
성숙도	상용화 안정	초기 연구·시제품 단계

 

---

8. PIM 상용화 과제

1. 표준화
   • JEDEC에서 PIM DRAM 인터페이스 표준화 논의 진행 중
2. SW 생태계
   • PIM 전용 컴파일러·라이브러리 개발 필요
   • AI 프레임워크와 자연스럽게 연계되어야 함
3. 비용·수율
   • DRAM 제조 공정에 연산 로직 추가 시, 수율 저하 문제 해결 필요
4. 시장 수용성
   • 기존 CPU/GPU/NPU와의 경쟁·보완 관계 정립 필요

 

---

9. 미래 전망

1. 2025~2027년
   • HBM-PIM, GDDR-PIM이 데이터센터·AI 가속기 시범 적용
   • 학습용 GPU·NPU 보조 메모리로 채택 확대
2. 2028~2030년
   • 표준화 진전 → 범용 AI 서버 시장 본격 채택
   • 엣지 디바이스·모바일 AP에 PIM 내장
3. 2030년 이후
   • CPU·GPU·PIM 융합 아키텍처 등장
   • AI·데이터 집약형 연산의 핵심 컴퓨팅 방식으로 자리 잡을 가능성

 

---

PIM은 AI 시대의 메모리 혁명

PIM(Processing In Memory)은 단순한 메모리 기술이 아니라, AI 컴퓨팅 패러다임의 대전환을 이끌 잠재력을 가진 혁신입니다. 데이터 이동을 최소화하여 속도는 높이고, 전력은 줄이며, 시스템을 단순화할 수 있습니다.

 

물론 아직 표준화·소프트웨어 생태계·제조 난제라는 현실적 장벽이 있지만, 삼성전자·SK하이닉스·인텔 등 글로벌 기업과 학계의 연구가 빠르게 진행되면서, PIM은 머지않아 AI 전용 메모리의 사실상 표준이 될 가능성이 큽니다.

 

궁극적으로 PIM은 초거대 AI 모델 시대에 필수적인 “데이터 중심 컴퓨팅(Data-Centric Computing)”의 핵심으로 자리잡을 것이며, 반도체 산업의 새로운 성장 동력으로 작용할 것입니다.