"에이닷엑스 K1, 초거대 AI모델 범용화로 차별화…혁신 사고 기반 될 것"

[파이낸셜뉴스] "가장 범용적인 모델을 만드는 것이 SK텔레콤의 차별점이다."

최근 과학기술정보통신부가 주관하는 '독자 인공지능(AI) 파운데이션 모델 프로젝트'에서 SK텔레콤은 국내 최대 규모 5190억개 파라미터(매개변수)를 갖춘 독자 대규모언어모델(LLM) '에이닷엑스(A.X) K1'을 앞세워 한국지능정보사회진흥원(NIA) 벤치마크 평가에서 공동 1위를 차지, 2차 단계에 진출했다. A.X K1 개발을 이끈 SK텔레콤 옴니모달 파운데이션 모델팀의 천성준 매니저는 초거대 모델을 개발한 이유에 대해 "모델이 클수록 희귀하고 어려운 지식을 더 잘 학습하고, ‘환각 현상’도 줄어든다"며 "앞으로 더 작은 특화 모델들을 효율적으로 만들어낼 수 있는 ‘사회간접자본’이 될 것"이라고 말했다.

자동차들이 쌩쌩 달리는 고속도로와 같이, 초거대 AI 모델이 향후 개발자들이 혁신적 사고를 펼치게 돕는 기반이 될 것이란 설명이다.

양현호 매니저는 5190억개 파라미터를 탑재한 것과 관련 "한정된 예산, 시간, 경쟁자들과 비슷한 수준의 컴퓨팅 자원 내에서 가장 효율적인 모델을 계산했을 때, 5190억개 전체 파라미터에 활성 파라미터 330억개를 쓰는 구조가 최적이라는 결론이 나왔다"면서 "기본이 잘 된 범용 모델이 나중에 특정 분야에 특화될 때도 더 뛰어난 성능을 발휘할 것이라는 믿음도 있었다"고 전했다.

A.X K1은 한국어 특화를 위해 글로벌 기업보다 훨씬 높은 약 30%의 한국어 데이터를 투입했다. 특히 한국어 중에서도 맥락이 많이 필요한 문장을 골라내는 별도의 처리기를 만들었다. 맥락이 풍부한 문장을 많이 학습해야 문맥을 짚는 능력도 향상되기 때문이다.

천 매니저는 "A.X K1은 토크나이저(문장을 언어 모델이 이해할 수 있도록 토큰 단위로 쪼개는 도구)의 한국어 효율성이 굉장히 높다"며 "같은 문장이라도 더 적은 토큰으로 표현할 수 있어서 속도와 전력 효율 면에서 글로벌 모델 대비 경쟁력이 있다. 실제 한국어 수학과 코딩 분야에서는 내부적으로 높은 성능을 보이고 있다고 판단하고 있다"고 언급했다.

SK텔레콤 컨소시엄이 독파모 프로젝트를 준비하는 과정에서 가장 공들인 것 중 하나는 ‘벤치마크 오염 방지' 원칙이다.

AI 모델의 성능을 객관적으로 평가하기 위해서는 평가 데이터(벤치마크)가 학습 과정에서 노출되지 않아야 한다. 벤치마크 오염 시 평가용 벤치마크 데이터가 학습 데이터에 포함돼 모델이 실제 일반화 능력이 아닌 암기력으로 높은 점수를 받는 문제가 생긴다. 이유진 매니저는 "벤치마크 문제의 답을 학습 데이터에 넣으면 점수는 쉽게 오르지만, 모델의 진짜 실력인 '일반화 능력'을 위해 절대 넣지 않았다"고 설명했다. 천 매니저는 "업계에서는 벤치마크 문제집이 공유되는데, 이걸 학습 데이터에 넣으면 점수는 쉽게 오르지만 모델의 본질을 평가할 수 없게 된다"고 강조했다. 아울러 ‘폭탄 제조법’ 등 유해한 질문에는 답변을 거부하도록 설계해 AI 유해성, 편향성 등을 최소화하는 장치도 마련했다.

SK텔레콤 컨소시엄은 2차 평가에선 에이전트 능력 강화에 주력하고 있다.

올 하반기에는 이미지뿐 아니라 음성·영상 데이터도 처리할 수 있도록 멀티모달을 고도화할 계획이다. 또 AI 모델 확산을 위해 한국어, 영어 외 다양한 언어를 지원할 예정이다. 양 매니저는 "1차 단계 평가를 준비하는 과정에서 겪었던 시행착오들은 다시 발을 헛디디지 않겠다"고 했다. [e-mail] 장민권 기자