AI 병목에 '연산하는 메모리' 뜬다…D램 3사 기술개발 속도

AI 병목 해법 찾기 분주
D램 3사, 연산 기능·근접 구조 승부

[파이낸셜뉴스]인공지능(AI) 반도체 시장에서 메모리 기술 경쟁의 축이 단순 고대역폭메모리(HBM)의 대역폭 확대에서 데이터 이동을 줄이는 차세대 구조로 넓어지고 있다. AI 모델이 커질수록 데이터 이동에 따른 전력 소모와 병목이 커지면서 글로벌 메모리 3사도 이를 줄이기 위한 새로운 기술을 잇달아 제시하고 있다.

7일 업계에 따르면 이달 초 대만에서 열린 '세미콘 타이완 2026'에서도 이러한 흐름이 부각됐다. 세미콘 타이완은 글로벌 반도체 기업들이 첨단 공정과 패키징, 메모리 등 차세대 기술을 선보이는 대표적인 반도체 행사다. 올해 행사에서는 메모리 자체에 연산 기능을 더하거나 연산장치와의 거리를 좁히는 등 기존과 다른 차세대 메모리 구조가 잇달아 제시됐다.

삼성전자는 메모리 내부에서 일부 연산을 직접 수행하는 PIM(Processing-In-Memory·메모리 내 연산) 상용화에도 속도를 내고 있다. 디지타임스 등 외신에 따르면 삼성전자는 세미콘 타이완에서 저전력 D램에 연산 기능을 더한 'LPDDR5X-PIM'을 올해 말 또는 내년 초 양산하는 것을 목표로 하고 있다고 밝혔다. LPDDR5X-PIM은 메모리 내부에서 일부 연산을 직접 처리해 프로세서와 메모리 사이 데이터 이동량을 줄인 방식이다. AI 추론 과정에서 데이터 이동에 드는 시간과 전력 소모를 줄여 처리 성능과 전력 효율을 높일 수 있다.

PIM 적용 범위도 차세대 제품으로 넓어질 전망이다. 최장석 삼성전자 반도체(DS) 부문 메모리사업부 상품기획팀장(상무)는 이번 행사에서 차세대 모바일 D램인 LPDDR6에도 PIM을 적용하기 위한 국제반도체표준협의기구(JEDEC) 표준화 작업도 상당 부분 진척됐다고 설명했다.

SK하이닉스는 HBM에 연산 기능을 더한 기술을 제시했다.

김호식 SK하이닉스 메모리시스템리서치 담당 부사장은 이번 행사에서 HBM 베이스다이에 일부 연산 기능을 탑재한 커스텀 HBM 기술을 소개했다. HBM의 최하단에 위치한 베이스다이에서 일부 연산을 직접 처리해 HBM과 GPU 사이 데이터를 반복적으로 주고받는 과정을 줄인 방식이다. 김 부사장은 이러한 구조를 적용할 경우 대규모언어모델(LLM)의 추론 성능을 최대 5.15배 높일 수 있다고 설명했다. 특히 HBM4부터 베이스다이에 기존 메모리 공정이 아닌 로직 공정이 적용되면서 메모리 컨트롤러 외에도 다양한 기능을 추가할 수 있는 여지가 커졌단 설명이다.

마이크론은 D램을 연산장치에 직접 결합해 데이터 이동 거리를 줄이는 차세대 기술을 제시했다. 마크 키엘바우치 마이크론 부사장은 이번 행사에서 D램을 로직 위에 직접 배치하는 '근접 결합형 D램(Tightly Coupled DRAM)' 개념을 소개했다. 마이크론은 이 구조를 적용할 경우 기존 HBM보다 10배 이상 높은 대역폭을 구현하면서 데이터 이동에 필요한 전력 소모도 크게 낮출 수 있을 것으로 보고 있다.

기술 구현 방식에는 차이가 있지만 3사 모두 메모리와 연산 장치 사이 병목을 줄이는 데 초점을 맞추고 있다. 특히 삼성전자와 SK하이닉스는 각각 D램과 HBM 베이스다이에 연산 기능을 더해 AI 처리 성능과 전력 효율을 끌어올리는 방향으로 기술 개발을 확대하는 모습이다.

업계에서는 AI 연산에 필요한 데이터 규모가 커질수록 메모리의 전력 효율이 시스템 전체 성능을 좌우할 핵심 요소로 부상할 것으로 보고 있다. 한 관계자는 "단순히 메모리 용량과 대역폭을 높이는 것을 넘어 연산기능까지 결합한 차세대 메모리 기술 경쟁이 한층 치열해질 전망"이라고 말했다.

[email protected] 박지연 기자