"AI의 기억 책임지는 메모리… 사이클 벗어나 산업 핵심 축"[AI월드 2026]

박경 SK하이닉스 부사장 기조강연
연산 보조 넘어 필수 인프라로
추론·에이전트 서비스 확산 배경
토큰, 수요가 공급 기다리는 시장
2030년 사용량 24배 증가 전망
"메모리, 컴퓨터보다 더 중요해져"
SK하이닉스 메모리 제품군 확대
HBM4E 에너지 효율 20% 개선
데이터 이동 줄여 처리 속도 향상
고대역폭플래시로 용량 한계 보완
"알고리즘 업체 등 협력 늘어날것"

"AI 시대에 메모리는 더 이상 경기 사이클에 좌우되는 범용 제품이 아니라 시스템 아키텍처의 중심이다."

박경 SK하이닉스 Edge Intelligence 담당 부사장은 지난 9월 9일 서울 송파구 롯데월드타워 롯데시네마에서 파이낸셜뉴스와 과학기술정보통신부가 공동 개최한 'AI월드 2026'의 기조강연에서 메모리가 연산을 보조하는 부품을 넘어 AI의 기억을 책임지는 핵심 인프라로 자리 잡고 있다고 진단했다.

■메모리 서버 원가 비중 2배로

AI 시장의 무게중심이 대규모언어모델(LLM) 학습 경쟁에서 추론과 에이전트 서비스로 이동한 데 따른 변화다. 학습 단계에서는 GPU가 주도적인 역할을 했다면, 추론 단계에서는 GPU와 메모리의 결합이 중요해졌고 에이전트 시대에는 GPU·CPU와 시스템 내 모든 메모리가 함께 작동하는 구조로 바뀐다는 것이다.

박 부사장은 "이제 메모리를 볼 때는 업턴, 다운턴이라는 그런 사이클의 시각이 아니라 인프라스트럭처의 메인 플레이어(인프라의 핵심축)라는 시각으로 메모리를 봐야 한다"고 말했다.

그는 인터넷과 AI 인프라의 성장 방식에도 차이가 있다고 설명했다. 박 부사장은 "인터넷 같은 경우에는 깔아 놓고 수요를 기다렸다면, AI 토큰 쪽은 수요가 깔아주기를 기다리고 있다"고 설명했다. 즉, 인터넷은 '공급이 수요를 기다린 시장'이었다면, AI는 '수요가 공급을 기다리는 시장'이라는 말이다.

AI 서버의 원가 구조에서도 메모리의 높아진 위상이 확인된다고 박 부사장은 강조했다. 하이퍼스케일러(마이크로소프트·구글 등 초대형 데이터센터 운영사)의 서버 구매 비용 가운데 메모리가 차지하는 비중은 2025년 21%에서 2026년 41%로 상승했다. 엔비디아의 차세대 AI 플랫폼 '베라 루빈'의 GPU 원가에서 메모리가 차지하는 비중이 62%에 이른다고 지적했다.

이는 AI 인프라 투자에서 연산 성능 뿐 아니라 데이터를 얼마나 빠르게 저장하고 공급하느냐가 중요해졌다는 의미다. 박 부사장은 메모리 시장이 2029년까지 연평균 40% 이상의 성장률을 기록할 것이라는 전망도 소개했다. AI 인프라 투자가 확대되면서 메모리의 수요와 시장 규모가 함께 증가할 것이라는 분석이다.

■CPU·D램 수요도 증가

메모리 수요 확대를 이끄는 핵심 동력으로는 'AI 에이전트'를 지목했다. 기존 챗봇이 사람의 질문에 답하는 방식이었다면 에이전트는 관련 파일을 열어 내용을 분석하고 계획을 세운 뒤 도구를 이용해 작업을 수행한다. 이후 결과를 검토하고 다음 단계로 넘어가는 과정을 반복한다.

박 부사장은 "에이전트는 사실 조금 더 쉽게 설명하면 AI를 쓰는 사용자가 사람에서 에이전트로 바뀌어서 그 숫자가 빠르게 늘어나는 환경"이라고 설명했다.

하나의 업무를 처리하는 과정에서도 여러 에이전트가 동시에 추론하고 서로 결과를 검토하거나 협업한다. 이에 따라 추론 호출 횟수와 처리해야 할 토큰이 동시에 늘어나게 된다. 특히 기업용 에이전트와 개인용 에이전트가 함께 확산하면서 토큰 사용량이 2030년까지 24배 이상 증가할 것으로 내다봤다.

추론 과정에서 발생하는 KV 캐시(Key-Value Cache)는 메모리 병목을 심화하는 요인으로 꼽았다. KV 캐시는 AI가 이전에 처리한 문맥 정보를 재활용하기 위해 저장하는 데이터다. 대화나 추론 과정이 길어질수록 저장해야 할 데이터가 늘어나고, 여러 작업을 동시에 처리하면 필요한 메모리 용량도 증가한다.

박 부사장은 "전체 추론 서비스의 규모는 컴퓨팅이 좌우하는 게 아니라 메모리의 캐퍼시티(용량), 메모리의 퍼포먼스가 전체 추론 서비스의 규모를 좌우하는 시대로 바뀌게 된다"고 했다.

AI 에이전트 확산은 GPU뿐 아니라 CPU와 범용 D램의 수요도 늘리고 있다. 에이전트가 기존 소프트웨어와 각종 도구를 실행하고 여러 작업의 순서를 조율하는 과정에서 CPU의 역할이 커지기 때문이다.

AI의 기억 기능도 새로운 메모리 수요를 만드는 요인이다. 기존 LLM은 개별 질문에 답하는 방식이었지만 에이전트는 이전에 수행한 작업과 결과를 다음 작업에 활용해야 한다. 장기간에 걸쳐 여러 업무를 처리하려면 축적된 지식과 경험, 작업 절차 등을 저장하고 관리하는 기능이 필요하다.

박 부사장은 이를 'AI 메모리 프레임워크'라는 개념으로 설명했다. 에이전트가 수행한 작업을 의미 정보인 시맨틱 메모리, 경험을 저장하는 에피소드 메모리, 작업 절차를 관리하는 메모리 등으로 구분해 저장하고 활용하는 구조다.

그는 "이미 메모리가 전체 프레임워크의 하나의 계층으로 들어가는 이러한 변화가 올해부터 시작이 됐다"면서 "앞으로 (메모리가) 컴퓨터보다 더 중요해질 거라고 본다"고 진단했다.

■HBM4E·HBF로 차세대 메모리 대응

SK하이닉스는 이 같은 수요 변화에 대응해 AI 메모리 제품군을 HBM 밖으로 확대하고 있다. 메모리의 처리 속도를 높이는 동시에 용량과 비용, 데이터 이동 효율까지 개선하는 방향이다.

박 부사장은 HBM4의 후속 제품인 HBM4E의 준비를 마치고 올해 상반기 샘플을 공급했다고 밝혔다.

HBM4E는 HBM4보다 집적도를 1.5배 높이고, 핀당 최대 16Gbps, 총 4.0TB/s의 대역폭을 구현하는 것을 목표로 한다. 에너지 효율은 20% 개선할 계획이다. 연산용 다이와 D램을 수직으로 결합하는 3D 적층 D램도 준비하고 있다. CPU나 GPU 등 연산장치와 메모리 사이의 데이터 이동을 줄여 처리 효율을 높이려는 기술이다.

박 부사장은 연산장치와 메모리의 결합 방식이 향후 반도체 기술 경쟁에서 중요한 과제가 될 것이라고 짚었다. HBM의 용량 한계를 보완할 기술로는 고대역폭플래시(HBF)를 제시했다. HBM은 빠른 데이터 처리에 유리하지만 대용량 데이터를 저장하는 데에는 비용과 용량 측면의 제약이 있다. 반면 낸드플래시는 대용량 저장에 유리하지만 데이터 처리 속도가 상대적으로 느리다.

HBF는 낸드를 3차원으로 적층하고 데이터 입출력 통로를 확대해 높은 저장 용량과 데이터 전송 대역폭을 동시에 확보하려는 기술이다.

박 부사장은 "앞으로 메모리는 컴퓨트 또는 데이터센터 또는 알고리즘 업체들과 함께 디자인하고 공동 창출하는 역할로 바뀌게 될 것"이라며 "이 길을 하이닉스가 준비하고 있다"고 말했다.

[email protected] 최가영 기자