[1일IT템]소리 없이 '얼굴 근육' 움직임으로 음성 인식 기술 개발

한양대 임창환 교수팀 '무음 음성 인식' 기술 개발
HMD가 얼굴에 닿는 부위의 6개 센서가 근육 인식
테스트결과, 6개 명령어를 92.53%의 정확도로 인식

이번 연구의 제1저자인 한양대 차오승 대학원생이 무음 음성 인식 센서 6개를 얼굴에 붙인 뒤 센서 인식률을 테스트 하고 있다. 한양대 임창환 교수 제공

[파이낸셜뉴스] 가상현실(VR)이나 증강현실(AR)이 적용된 게임이나 메타버스 서비스를 이용할때 버튼이나 목소리가 아닌 입모양만으로 헤드 마운트 디스플레이(HMD)를 작동하는 기술이 개발됐다. 이 기술은 "다음" "뒤로" "메뉴" "홈" 등 소리를 내지 않고 입모양만 취하면 HMD가 인식해 작동한다.

한양대 임창환 바이오메티컬공학과 교수팀은 말할때 얼굴근육의 움직임을 인식하는 무음 음성 인식(SSR) 기술을 개발했다.

임창환 교수는 28일 "공공 도서관과 같은 조용한 환경에서도 HMD를 사용해 VR·AR을 체험할 수 있으며, 후두절제나 성대결절 등으로 인해 정확한 발성이 힘든 사람들에게 도움을 줄 수 있다"고 말했다.

연구진은 HMD를 착용할때 얼굴이 닿는 부위에 안면근육을 인식하는 6개의 생체인식 센서를 달았다. 이 센서는 사용자가 실제로 말을 하지 않고 말하는 입모양을 흉내 냈을 때 안면 근육의 미세한 신호를 실시간으로 분석해 인식했다.

이를 이용해 연구진은 VR 환경설정에 많이 쓰이는 6개의 명령어, '다음', '이전', '뒤로', '메뉴', '홈', '선택'을 실시간으로 분류하는 시스템을 만들어냈다.

이 기술이 적용된 HMD를 가지고 20명의 피실험자를 대상으로 시스템의 인식률을 테스트했다. 그 결과, 소리를 내지 않고 말하는 입모양을 92.53%의 정확도로 인식했다.

해외에서 개발한 무음 음석 인식 기술은 대부분 입 주변에 센서를 부착하는 방식으로, 얼굴전체를 감싸는 마스크 형식으로 개발됐다. 해외에서 개발한 것들은 VR 적용을 고려하지 않은 것들로, VR에 적용하려면 마스크 같은 장비를 추가로 착용해야 인식률을 높일 수 있다고 임 교수는 설명했다.

연구진은 HMD가 입에서 거리가 멀어 입 주변의 근육 신호의 인식률을 높이기 위해 새로운 데이터 증강기술이 적용된 딥러닝 알고리즘으로 해결했다.

임 교수는 "사용자들이 우리 시스템에 익숙해지면서 인식률이 높아지는 현상을 관찰할 수 있었다"며 "기존 VR 헤드셋에 패드만 교체하는 방식으로 쉽게 적용할 수 있으며, 더 많은 명령어를 추가할 수도 있어 상용화에 용이할 것"이라고 말했다.

한편, 이번 연구 결과는 가상현실 분야의 최고 권위지인 '가상현실(Virtual Reality)'에 지난 2일 게재됐다.

[e-mail] 김만기 기자