BC카드, AI 모델 69% 경량화…처리속도 3배 높였다
[파이낸셜뉴스] BC카드가 인공지능(AI) 모델의 크기를 대폭 줄이면서도 성능을 유지하고, 업무 처리 속도는 약 3배 높이는 경량화 기술을 개발해 실제 업무에 적용했다.
BC카드는 AI 모델의 연산 부담을 낮추기 위해 '양자화' 기술을 적용했다고 19일 밝혔다. 양자화는 AI 모델이 사용하는 숫자의 정밀도를 낮춰 모델 용량과 연산량을 줄이는 방식이다.
BC카드가 310억개 파라미터를 가진 31B급 AI 모델에 해당 기술을 적용한 결과, 모델 용량은 기존 62.5GB에서 19.5GB로 약 69% 감소했다. 같은 GPU 환경에서 한국어 생성 처리량은 초당 205토큰에서 530토큰으로 늘었으며, 평균 응답 완료 시간도 24초에서 9초로 단축됐다.
모델 크기를 줄였지만 성능 저하는 최소화했다. 한국어 이해와 추론 등 8개 항목을 평가한 결과 경량화 모델은 원본 대비 98.7% 수준의 성능을 유지했다.
이 모델은 과학기술정보통신부가 주관하는 'K-AI 리더보드'의 한국어 평가 대형 모델 부문에서 종합 10위, 한국어 지식 평가 항목인 KMMLU-Pro에서는 7위를 기록했다. 특히 리더보드 등재 모델 가운데 4비트 양자화를 명시한 모델은 BC카드가 유일하다는 설명이다.
BC카드는 지난 7월부터 경량화 모델을 사내 금융 특화 생성형 AI 플랫폼 'BCGPT'와 'MOAI'에 적용하고 있다. GPU 한 대당 동시 처리량을 높이는 동시에 일반 PC급 GPU까지 활용할 수 있어 추가적인 장비 투자 부담도 줄일 수 있을 것으로 기대하고 있다.
또한 한국어 특성에 맞춰 압축 강도를 조정해 성능 저하를 최소화하는 기술 2건에 대한 특허 출원도 진행 중이다.
오성수 BC카드 상무는 "AI 모델의 성능을 유지하면서 비용과 속도를 함께 개선하는 것이 실제 업무 활용의 핵심"이라며 "경량화 기술을 사내 AI 서비스에 적극 적용하고 외부에도 공개해 효율적인 AI 활용 환경을 만드는 데 기여하겠다"고 말했다.
[email protected] 홍예지 기자
