사회 사회일반

고려대 "GPU 낭비 줄이는 AI 학습 작업배치 기술 개발"

이보미 기자
파이낸셜뉴스

GPU '헛된 선점' 현상 규명…전체 사용시간 최대 13% 낭비
새 기술 적용시 작업 완료시간 평균 3.8배 단축

고려대 컴퓨터학과 양경식 교수(교신저자), 유혁 교수(교신저자), 고영훈 박사과정(제1저자), 신창용 박사과정(공동저자), 강민철 박사과정(공동저자), 성균관대 황재현 교수(공동저자/왼쪽부터). 고려대 제공
고려대 컴퓨터학과 양경식 교수(교신저자), 유혁 교수(교신저자), 고영훈 박사과정(제1저자), 신창용 박사과정(공동저자), 강민철 박사과정(공동저자), 성균관대 황재현 교수(공동저자/왼쪽부터). 고려대 제공

[파이낸셜뉴스] AI 학습 속도를 높이기 위해 사용해온 GPU 작업 관리 방식이 오히려 학습을 지연시킬 수 있다는 연구 결과가 나왔다.

고려대 정보대학 컴퓨터학과 양경식·유혁 교수 연구팀은 GPU 작업 과정에서 발생하는 '헛된 선점' 현상을 규명하고 이를 줄이는 작업 배치 기술 'Lazer'를 개발했다고 25일 밝혔다.

대규모 AI 모델을 학습할 때는 수백~수천 대의 GPU가 투입된다. 기업과 연구기관은 한정된 GPU를 여러 학습 작업이 나눠 쓰도록 클러스터를 구축하고, 스케줄러를 통해 작업의 실행 순서를 정한다. 그동안에는 우선순위가 높은 작업이 새로 들어오면 실행 중인 작업을 멈추고 GPU를 넘겨주는 '선점' 방식이 널리 활용됐다. 하지만 새 작업이 실제 실행되기도 전에 또 다른 고우선순위 작업에 밀려나면 실행 준비에 들어간 시간이 고스란히 낭비된다.

고려대 연구진은 대규모 GPU 클러스터의 6개월치 운영 기록을 여러 스케줄링 방식으로 재현해 이 같은 현상을 확인했다. 이를 '헛된 선점(futile preemption)'이라고 이름 붙였다.

AI 학습 작업은 GPU에서 실제 실행되기까지 수분에서 수십분의 준비 시간이 필요하다. 운영 기록을 분석한 결과 헛된 선점으로 낭비된 시간은 전체 GPU 사용시간의 최대 13%에 달했다. 이는 GPU 512대를 약 35일 동안 사용하지 못한 것과 맞먹는 규모다.

연구진이 개발한 'Lazer'는 새 작업이 들어오는 간격과 기존 작업의 남은 실행시간, GPU에 작업을 배치한 뒤 실행을 준비하는 데 걸리는 시간 등을 함께 따져 작업을 교체할지 선점을 미룰지를 결정한다.

실제 GPU 서버에서 검증한 결과 헛된 선점이 제거됐고, 작업 제출부터 완료까지 걸리는 시간은 기존 방식보다 평균 3.8배, 최대 8.8배 짧아졌다.
양경식 교수는 "선점이 학습 속도를 높인다는 통념과 달리 오히려 GPU 낭비와 학습 지연을 초래할 수 있음을 확인했다"며 "시스템 소프트웨어 개선만으로도 AI 인프라 효율을 높일 수 있음을 보인 연구"라고 말했다.

한편, 이번 연구는 지난 7월 26~29일 미국 롱비치에서 열린 'DAC(Design Automation Conference) 2026'에 채택됐다. 논문은 올해 제출된 2400여편 가운데 13편이 선정된 최우수논문상 후보에도 올랐다.

[email protected] 이보미 기자


#기술 #GPU #고려대 #AI 학습 #작업배치
※ 저작권자 © 파이낸셜뉴스, 무단전재-재배포 금지

기자 정보