中 바이트댄스, 앤스로픽 미토스급 AI 모델 학습..."미국 추월 야심"
[파이낸셜뉴스]
중국 바이트댄스가 현재 미국 앤스로픽의 최첨단 인공지능(AI) 모델인 미토스와 맞먹는 규모의 거대 AI 모델을 학습시키고 있는 것으로 나타났다. 중국이 더 이상 미 AI를 모방하는 저렴한 AI 모델에 머물지 않고 최첨단 AI로도 영역을 확대하고 있음을 시사한다. 미국과 AI 격차가 좁혀지고 있다.
파이낸셜타임스(FT)는 7일(현지시간) 소식통 3명을 인용해 틱톡 모기업 바이트댄스가 최대 10조개 매개변수(파라미터)를 다룰 수 있는 거대 AI 모델 학습 초기 단계에 들어갔다고 보도했다. 최근 시장을 뒤흔들었던 중국 문샷의 AI 모델 키미 K3보다 3배 거대한 AI 모델이다. 키미는 역대 중국에서 발표된 AI 모델 가운데 가장 규모가 컸지만 바이트댄스는 그 3배 크기의 AI를 학습시키기 시작한 것이다.
소식통 1명에 따르면 바이트댄스의 거대 AI 모델은 통상 3~6개월이 소요되는 사전학습(Pre-training) 단계다. 사전학습이 끝나면 미세 조정을 거쳐 공개된다. 정확한 모델 규모는 추후 결정된다.
앤스로픽은 자사 미토스 AI의 크기를 공개하지 않았지만 업계에서는 최첨단 미토스5의 경우 매개변수 약 8조개, 페이블4는 약 5조개를 다루는 것으로 추산하고 있다.
다만 매개변수 개수가 많다고 무조건 성능이 뛰어나다고 단정할 수는 없다. AI 모델의 정보 저장 용량을 결정짓는 기본 요소이긴 하지만, AI의 실제 능력은 학습 데이터의 질이나 학습 방법 같은 다른 요인에도 크게 좌우되기 때문이다.
다만 바이트댄스가 세계 최대 AI 모델 학습에 나섰다는 것은 중국 AI 업체들이 그저 미국을 따라가는 데서 그치지 않고 최첨단 AI 모델에서도 미국을 앞지르려 한다는 것을 방증한다.
이미 지난 몇 주 동안에만 문샷, 알리바바 등의 중국 AI 모델들은 여러 표준시험에서 강력한 성능을 입증했다. 특정 분야에서 오직 앤스로픽의 페이블5에만 뒤졌을 뿐이다. 페이블5보다 더 고성능인 미토스5는 지난 6월 보안을 이유로 배포가 일시 금지된 뒤 승인받은 일부 기관에만 공개되고 있어 비교하기 어렵다.
업계 관계자들은 이미 다수의 중국 업체들이 페이블5 규모의 AI 모델들을 학습시키고 있으며, 바이트댄스가 최대 규모 AI 모델 학습이라는 야망을 실현하고 있다고 말했다.
바이트댄스는 중국 AI 업체들과 다른 길을 걷고 있다. 중국 빅테크들이 소스를 공개하는 오픈소스 방식을 취하고 있지만 바이트댄스는 소스를 공개하지 않는 폐쇄형이다. 동시에 고성능으로 유명하다.
바이트댄스의 최신 '시댄스(SeeDance)' 모델은 동영상 생성 부문에서는 전 세계에서 가장 성능이 우수한 모델로 평가받고 있다. 또 대표 소비자용 AI 서비스인 '두바오(Doubao)'는 월간 활성 사용자 수(MAU) 3억2400만명을 기록하며 중국 내에서 가장 인기 있는 AI 플랫폼이다.
바이트댄스는 지난 3년간 그 어떤 중국 빅테크보다 AI에 공격적인 투자에 나서 대규모 데이터센터 네트워크를 구축하는 한편 연구자들도 대거 고용했다. 기업들을 대상으로 AI 서비스를 하는 클라우드 부문 '볼케이노 엔진'에도 집중하고 있고, 맞춤형 AI 칩 개발 야심도 갖고 있다.
구글 딥마인드 출신 과학자인 우융후이가 이끄는 모델 개발 팀 '시드(Seed)'는 중국과 해외에 약 2000명의 인력을 두고 있다. 핵심 연구원, 인프라 엔지니어, 데이터 라벨링 팀, 번역가 등이 이 팀에 소속돼 있다.
소식통 가운데 한 명에 따르면 바이트댄스의 AI 모델 개발은 미 AI 모델을 기초로 핵심을 뽑아내는 이른바 '증류(Distillation)' 방식도 아니다. 자체적인 독립 모델 개발 방식을 취하고 있다. 바이트댄스는 1년 넘게 이 방식을 고수하고 있으며, 이 때문에 중국 경쟁사들에 비해 모델 개발이 더딘 것으로 알려졌다.
[email protected] 송경재 기자
