'음성에 담긴 감정도 읽어' AI 얼굴 표정 달라진다
[파이낸셜뉴스] 음성에서 미묘한 감정 변화를 인식해 영상 속 화자의 표정을 바꾸는 기술이 나왔다. 이는 가상 인간과 교육용 아바타, 상담 AI, 영상 콘텐츠 제작 등에 더 자연스러운 얼굴 표정을 만들 것이라는 기대다.
울산과학기술원(UNIST) 인공지능대학원 김태환 교수팀은 음성 신호에서 감정을 추출해, 별도의 참조 이미지 없이도 영상 속 화자의 표정을 원하는 감정으로 바꿀 수 있는 인공지능 모듈인 C-MET(Cross-Modal Emotion Transfer)을 개발했다고 18일 밝혔다.
C-MET은 음성에 담긴 감정의 '변화량'을 얼굴 표정의 '변화량'으로 옮기는 것이 특징이다. 중립적 음성과 감정이 실린 음성의 차이를 벡터, 즉 변화의 방향과 크기를 담은 숫자 정보로 계산하고, 이 벡터가 얼굴에서는 어떤 표정 변화로 나타나는지를 인공지능(AI)이 학습하는 것이다.
이 덕분에 음성 안에 말의 내용과 감정이 함께 섞여 있어도, 표정 변화에 필요한 감정 신호를 따로 읽어낼 수 있다. 같은 문장이라도 어조가 달라지면 입꼬리, 눈썹, 눈 주변 움직임이 다르게 나타나도록 표정을 바꿀 수 있는 것이다.
또 각각의 감정에 '슬픔', '기쁨' 같은 이름표를 붙여 학습시키는 방식과 달리, 두 감정 사이의 변화량을 보기 때문에 비꼼, 공감, 카리스마처럼 학습 과정에서 직접 보지 못한 미묘한 감정도 얼굴 표정에 반영할 수 있다. 감정이 담긴 음성을 입력으로 쓰기 때문에, 감정을 표현한 고품질 정면 사진과 같은 참조 이미지도 필요없다.
이 기술은 최신 말하는 얼굴 표정 편집 기술인 '이디톡(EDTalk)'과 비교해 감정 표현 정확도가 14%p 이상 높았다. C-MET은 부품처럼 끼워 쓸 수 있는 모듈 형태 인데, 기존 EDTalk 모델의 표정 인코더를 C-MET으로 대체해 실험한 결과, MEAD 데이터셋 기준 감정 정확도가 41.99%에서 55.91%로 향상됐다.
또 다른 말하는 얼굴 생성 모델인 'PD-FGC'에도 C-MET을 적용한 결과 감정 정확도가 33.36%에서 36.82%로 높아졌다. 두 모델 모두에서 추론 속도도 빨라졌다. C-MET이 특정 모델에만 묶이지 않고 여러 얼굴 생성 AI 모델에 적용될 수 있음을 보여주는 결과다.
김태환 교수는 "이번 연구는 참조 이미지 없이 음성만으로 얼굴 영상의 감정을 바꿀 수 있다는 점에서 기존 방식들의 한계를 실질적으로 해결했다"며, "가상 인간 제작, 영화·콘텐츠 후반 작업, 감정 인식 AI 등 다양한 분야에 폭넓게 활용될 수 있는 기반 기술"이라고 설명했다.
이번 연구 최찬혁 UNIST 인공지능대학원 석사과정생이 제1저자로 참여했으며, 성과는 인공지능 및 컴퓨터 비전 분야 최우수 국제학회 CVPR(Computer Vision and Pattern Recognition) 2026에 채택됐다.
jiany@fnnews.com 연지안 기자
