전력 효율이 AI 경쟁력…삼성·SK하이닉스 CXL 기술 선점 속도

AI 데이터센터 전력 부담 갈수록 확대
전력 소비 급증에 효율화 경쟁 본격화

[파이낸셜뉴스] 생성형 인공지능(AI) 시장이 실제 서비스를 제공하는 '추론' 중심으로 빠르게 전환되면서 AI 데이터센터의 전력 효율이 새로운 경쟁력으로 떠오르고 있다. 삼성전자와 SK하이닉스는 차세대 메모리 인터페이스인 컴퓨트익스프레스링크(CXL)를 앞세워 메모리 활용도를 높이고 불필요한 연산을 줄이는 기술 개발에 속도를 내고 있다.

22일 업계에 따르면 AI 데이터센터는 GPU 성능 경쟁을 넘어 전력 소비와 운영 비용을 얼마나 줄이느냐가 핵심 경쟁력으로 부상했다.

실제로 국제에너지기구(IEA)는 전 세계 데이터센터 전력 소비가 오는 오는 2030년 약 945테라와트시(TWh)까지 증가해 현재의 두 배 수준에 이를 것으로 전망했다. 같은 기간 데이터센터 전력 소비 증가율은 연평균 약 15%로 다른 산업 대비 4배 이상 빠른 수준이다.

이 같은 변화는 생성형 AI의 추론 작업이 급증한 영향이다. AI는 사용자의 질문에 답변하는 과정에서 이전 대화 내용을 저장하는 'KV 캐시'를 지속적으로 활용한다. 다만 기존 서버는 메모리 용량이 부족하면 이미 계산한 데이터를 다시 연산해야 해 그래픽처리장치(GPU) 사용 시간이 길어지고 전력 소비도 함께 늘어난다.

CXL은 이같은 한계를 해결하기 위한 기술로 주목받고 있다. CXL은 필요한 만큼 메모리를 추가 연결해 하나의 대규모 메모리 공간처럼 활용할 수 있는 차세대 인터페이스다. GPU를 추가하지 않고도 메모리만 확장할 수 있어 전력 소비는 물론 인프라 투자 비용까지 절감할 수 있다.

시장조사기관 모더 인텔리전스는 CXL 기반 메모리 풀링 기술을 적용할 경우 메모리 전력 소비를 20~30% 줄이고 메모리 활용률은 최대 50%까지 높일 수 있을 것으로 분석했다. AI 데이터센터 운영 비용에서 전력이 차지하는 비중이 커지는 만큼 단순한 성능 경쟁보다 운영 효율을 높이는 기술로 평가받고 있다.

삼성전자는 최근 AI 추론 환경에서 CXL 메모리 풀의 효과를 검증했다. 기존 D램은 KV 캐시가 메모리 용량을 초과하면 캐시를 다시 계산하는 과정이 발생해 성능이 저하됐지만 CXL 메모리 풀은 더 많은 캐시를 저장하면서도 안정적인 성능을 유지했다.

특히 단일 GPU 환경에서는 일반 D램과 유사한 수준의 성능을 구현했고 8개의 GPU를 사용하는 환경에서도 D램 대비 약 92% 수준의 성능을 유지하면서 훨씬 큰 메모리 용량을 제공했다. 삼성전자는 CXL 메모리 모듈(CMM-D)을 활용해 AI 추론과 같은 대용량 메모리 워크로드의 효율성을 높일 수 있을 것으로 기대하고 있다.

SK하이닉스도 CXL 경쟁에 속도를 내고 있다. 지난 6월 미국 라스베이거스에서 열린 HPE 디스커버 행사에서 CXL 3.2 기반 2세대 256GB CMM-DDR5 샘플을 공개했다. 기존 제품보다 용량을 두 배로 늘려 AI 데이터센터의 메모리 확장성과 전력 효율을 동시에 강화했다.

한편 업계에서는 AI 데이터센터 경쟁력이 GPU 개수보다 메모리를 얼마나 효율적으로 활용하느냐에 달렸다고 보고 있다. AI 추론 서비스가 확대될수록 전력 비용과 총소유비용이 기업 경쟁력을 좌우하는 만큼메모리 효율을 높이는 CXL 기술 확보 경쟁도 한층 치열해질 전망이다.

moving@fnnews.com 이동혁 기자