AI 계산, 메모리가 직접 한다…삼성 'LPDDR-PIM' 세계 첫 개발

모바일용 LPDDR에 연산 기능 탑재
AI 처리시간 12.3초→5.4초로 단축
초당 토큰 처리량도 기존 제품의 3배
온디바이스 AI 겨냥…LPDDR6-PIM 표준화 착수

[파이낸셜뉴스] 삼성전자가 모바일 등 온디바이스 인공지능(AI) 기기를 겨냥해 메모리 내부에서 연산까지 수행하는 차세대 메모리를 세계 최초로 개발했다. 데이터를 저장하는 역할에 머물렀던 모바일용 메모리에 연산 기능까지 넣어 AI 처리 속도를 높이고 전력 소모를 줄이는 기술이다.

황가람 삼성전자 책임은 25일(현지시간) 미국 스탠퍼드대에서 열린 반도체 학술대회 핫칩스 2026에서 저전력 메모리 LPDDR에 메모리 내 연산(PIM) 기술을 결합한 LPDDR5X-PIM의 구조와 사양, 검증 결과를 공개했다. 이 제품은 이달 초 메모리 콘퍼런스 FMS 2026에서 차세대 메모리상을 받았지만 세부 사양이 공개된 것은 이번이 처음이다.

PIM은 메모리에 연산장치를 넣어 일부 계산을 직접 처리하는 기술이다. 기존에는 메모리에 저장된 데이터를 중앙처리장치(CPU)나 그래픽처리장치(GPU)로 보내 계산한 뒤 다시 메모리로 가져와야 했다. PIM을 적용하면 비교적 간단한 연산은 메모리 내부에서 처리할 수 있어 AI의 주요 병목으로 꼽히는 데이터 이동을 줄일 수 있다. 처리 속도가 빨라지는 동시에 전력 소모도 낮아진다.

삼성전자가 파라미터 80억개 규모인 메타의 개방형 AI 모델 라마 3.1을 대상으로 시험한 결과 LPDDR5X-PIM의 처리 시간은 5.4초로 일반 LPDDR5X의 12.3초보다 약 2.3배 빨랐다. 초당 토큰 처리량(TPS)은 81.3TPS로 기존 제품의 27TPS보다 3배 높았다.

삼성전자는 앞서 2021년 고대역폭메모리(HBM)에 PIM 기술을 적용한 HBM-PIM을 공개하고 개발 검증까지 진행했다. 이번에는 HBM 대신 스마트폰 등 모바일 기기에 주로 사용되는 저전력 LPDDR에 PIM을 적용했다.

AI 모델이 갈수록 작고 효율적으로 변하면서 모든 AI 기기에 HBM이 필요한 것은 아니라는 판단에서다. 황 책임은 "AI를 지원하는 표준 메모리 설루션은 HBM이지만 최근 대형언어모델(LLM)이 소형화·효율화하면서 HBM이 항상 최선의 해결책은 아닐 수 있다"며 "높은 대역폭과 낮은 전력 소모를 동시에 갖춘 LP-PIM을 개발하게 됐다"고 설명했다.

특히 생성형 AI를 데이터센터가 아닌 스마트폰이나 개인용컴퓨터(PC) 등에서 직접 구동하는 온디바이스 AI가 확산되면서 LPDDR-PIM의 활용 가능성도 커지고 있다. 전력과 공간이 제한된 모바일 기기에서는 AI 연산 성능을 높이면서 전력 소비를 줄이는 것이 중요하기 때문이다.

기존 시스템과의 호환성도 높였다. 범용 LPDDR과 동일한 배열을 적용해 시스템을 대폭 변경하지 않고도 사용할 수 있도록 설계했다. 삼성전자는 현재 소프트웨어개발키트(SDK)와 시뮬레이터 등을 제공하며 관련 생태계를 구축하고 있다.

삼성전자는 LPDDR5X-PIM에 이어 'LPDDR6-PIM' 표준화 작업을 시작했다. HBM을 중심으로 펼쳐졌던 AI 메모리 경쟁이 스마트폰과 PC 등 온디바이스 영역으로 넓어지면서 메모리가 데이터를 저장하는 장치를 넘어 직접 연산하는 장치로 진화하고 있다.

[email protected] 김경민 기자