"메모리 압축 '터보퀀트'가 AI판 바꿀 것"

알고리즘 개발 참여 한인수 교수

구글이 최근 공개한 메모리 압축기술 '터보퀀트' 기술의 핵심 알고리즘 개발에 참여한 한인수 한국과학기술원(KAIST) 교수(사진)가 30일 온라인 설명회에서 "소프트웨어가 하드웨어 시장에 더 큰 영향을 미치면서 소프트웨어의 중요성이 각인됐다"고 말했다.

30일 KAIST가 온라인으로 진행한 간담회에서 한 교수는 "터보퀀트는 모델이 이전 대화 내용을 기억해 다음 답변에 활용하는 임시 메모리인 'KV 캐시'를 정확도 손실 없이 압축해 메모리 사용량을 6분의 1로 줄였다"고 밝혔다.

터보퀀트는 앞서 지난해 4월 논문 사전공개사이트 '아카이브'에 공개됐으며, 다음 달 브라질에서 열리는 '국제표현학습학회(ICLR) 2026'에서 발표될 예정이다. 한 교수는 터보퀀트가 차용한 알고리즘의 핵심인 폴라퀀트와 QJL 기법 개발을 주도했다.

터보퀀트는 데이터를 압축할 때 원값과의 오차인 '잔차'를 1비트 양자화해 저장하는 QJL 기법으로 보정, 편향성을 줄이고 정확도는 높였다.

이를 통해 장기 문맥 벤치마크(AI 성능평가)에서 3.5비트 압축에도 성능저하가 없음을 선보였고, 엔비디아 H100 그래픽처리장치(GPU)에서 32비트 대신 4비트를 적용하면 속도를 8배 향상할 수 있음도 선보였다.

구글리서치 방문연구원을 겸직하고 있는 그는 "온라인에서 이미 터보퀀트를 구현해 공개하고 있다"고 말했다.

[e-mail] 연지안 기자