독파모 5개 팀이 만든 AI 학습데이터 푼다…1.56조 토큰 규모 무료 개방

데이터 29종 AI허브 누리집 공개

[파이낸셜뉴스] 과학기술정보통신부가 독자 인공지능(AI) 파운데이션 모델 프로젝트 1차 평가에 참여한 5개 정예팀의 AI 학습데이터를 국민에게 무료로 개방한다. 네이버클라우드와 업스테이지, SK텔레콤, NC AI, LG AI연구원이 구축한 총 29종으로, 약 70~80B(700억~800억개) 매개변수 규모의 대형 AI 모델을 학습할 수 있는 1조 5600억 토큰 분량이다.

과기정통부는 독파모 5개 정예팀이 1차 단계평가 과정에서 확보한 데이터 29종을 AI허브 누리집에 공개한다고 27일 밝혔다.

이번에 개방되는 데이터는 각 팀이 모델 개발 전략에 맞춰 기획하고 정부의 데이터 구축·가공 예산을 활용해 확보한 자료다. 대형 AI 모델의 사전학습에 필요한 대규모 데이터셋부터 영상·음성 등 멀티모달 데이터, 모델 안전성을 점검하는 레드티밍 데이터까지 포함됐다.

네이버클라우드는 공개 영상 234만건과 방송 영상 52만건을 비롯해 해당 영상을 기반으로 만든 텍스트 1550만건과 음성 질의응답 1200만건을 구축했다. 텍스트 데이터는 영상 장면을 문장 단위로 설명한 캡션 등으로 구성돼 AI의 영상 이해 능력과 이미지 생성 모델 학습에 활용할 수 있다.

업스테이지는 1조 토큰 규모의 사전학습 데이터와 50만건의 사후학습 데이터를 공개한다. 사전학습 데이터는 AI 모델을 처음부터 새로 학습시키는 '프롬 스크래치' 방식에 활용할 수 있다. 사후학습 데이터는 단순한 질의응답을 넘어 추론과 판단, 실행 능력을 갖춘 AI 에이전트 개발에 초점을 맞췄다.

SK텔레콤은 수학·과학·법률 등 전문 분야의 고난도 다단계 추론 데이터와 음성·이미지 기반 사후학습 데이터를 구축했다. 국내 법령과 한국 사회의 보편적 가치관을 반영한 한국형 레드티밍 데이터 약 1만건도 포함했다.

NC AI는 제조 분야 기술문서와 민원 상담 음성 등 산업 현장의 실제 데이터를 기반으로 7종의 학습데이터를 마련했다. 문맥 이해와 단계별 추론, 질의응답 등 대규모언어모델(LLM) 역량을 고도화하기 위한 자료다.

LG AI연구원은 국내 가정환경에 특화된 피지컬 AI 멀티모달 데이터셋을 구축했다. 국내 50개 가정에서 50종 이상의 가사 활동을 촬영해 17만개가 넘는 영상 클립을 확보하고 객체·분할·자세·맥락 정보 등을 다층화했다.

한국지능정보사회진흥원(NIA)과 한국정보통신기술협회(TTA)는 1차 단계평가 종료 후 각 팀으로부터 데이터를 제공받아 품질과 개인정보·유해성 여부를 검증했다. 라이선스 제약이 있는 데이터는 공개 대상에서 제외했다.

독파모 사업 참여 조건에 따라 정부 예산으로 확보한 데이터는 50% 이상 개방해야 한다. 네이버클라우드와 업스테이지, SK텔레콤, NC AI는 품질검증 등을 마친 데이터를 모두 공개하기로 했다. LG AI연구원은 50% 이상인 의무 개방량을 충족하는 범위에서 공개 데이터를 통계적으로 선별했다.
공개된 데이터는 국내 기업과 연구자, 학생 등 대한민국 국민이면 누구나 AI허브에서 무료로 내려받아 활용할 수 있다. 과기정통부는 2차 단계평가 과정에서 정부 예산으로 구축된 데이터도 품질검증을 거쳐 추가로 개방할 예정이다.

과기정통부 김경만 인공지능정책실장은 "오늘 개방된 데이터는 정예팀의 AI 학습 전략이 담긴 귀중한 자산인 만큼 AI 생태계의 성장과 자생력 강화를 이끄는 밑거름이 될 것"이라고 말했다.

[email protected] 최혜림 기자