PIM(Porocessing In Memory)

기존 방식

폰 노이만 방식 : 메모리가 명령어 및 연산자의 저장을 담당하고 프로세서는 메모리에서 명령어 및 연산자를 가져와 연산을 수행

1. AI 연산에서 메모리입/출력이 상당히 많은 응용이 생겨났고, 프로세서의 연산 속도를 메모리가 따라가지 못해 메모리 입/출력 속도 제한으로 인한 전체 AI 연산 성능 제약이 발생

2. 프로세서에서 연산을 하기 위해서는 데이터가 필요하고 이를 메모리에서 가져온 후 결과를 다시 기록해야 하는데, 프로세서와 메모리를 오가는 대역폭의 제약이 있어 전체적인 AI 연산이 느려짐

1. Processing-near-memory

· 실제 메모리 Chip 내부가 아닌 메모리 Package에 별도의 연산 장치를 넣고 필요 연산을 수행하는 개념

장점 :

- DRAM 칩 원가 절감 (공통 칩 사용)

- 다양한 응용 분야에 맞춤형 연산 기능 제공

- 향상된 성능 및 에너지 효율

단점 :

1. 칩 크기 증가 및 복잡성 증가

2. 추가적인 비용 발생

Chip 외부에 연산 Logic을 다시 추가하는 이유

· DRAM Chip에 연산 Logic을 추가 → Chip size가 커짐 → 원가가 높아짐 → 수익성 악화

2. Processing-in-chip

· 데이터가 저장된 DRAM Cell 근처에 연산을 수행하는 Logic을 포함하는 방식

장점 :

1. 데이터 입출력과 동시에 연산 수행 가능

2. Processing-near-memory보다 훨씬 효율적

단점 :

1. DRAM 칩 내에 연산 로직 추가로 인한 비용 증가

2. 필수적인 연산 선정에 대한 고민 필요

3. 상용화 속도가 Processing-near-memory보다 느림

구분	Processing-near-Memory (P-NVM)	Processing-in-Chip (P-in-Chip)
정의	메모리 근처에 처리 장치를 배치하여 데이터 이동 거리를 줄이는 컴퓨팅 패러다임	칩 내에 처리 장치와 메모리를 통합하는 컴퓨팅 패러다임
핵심 목표	메모리 접근 지연 시간 감소, 에너지 효율 향상	칩 면적 및 전력 소비 감소, 성능 향상
주요 장점	-높은 메모리 대역폭 및 에너지 효율	-칩 면적 및 전력 소비 감소
주요 단점	-낮은 메모리 접근 지연 시간	-높은 처리 성능 및 병렬 처리 능력

VANS