ETRI, VR·AR 접목된 몰입형 XR 기술 개발
[파이낸셜뉴스] 한국전자통신연구원(ETRI)이 고가의 GPU 장비 없이 테블릿이나 스마트폰만으로도 가상현실(VR)과 증강현실(AR)이 접목된 몰입형 확장현실(XR) 기술을 개발했다.
이 기술은 테마파크에서의 AR 서비스, 전시장에서의 VR 체험은 물론 먼 거리에서도 가상공간에서 함께하는 다양한 원격 서비스까지 가능하다.
19일 ETRI에 따르면, 이번 기술은 4년간 과기정통부의 과제 지원을 받아 스마트폰 기반 VR과 AR을 더한 몰입형 XR 기술로 한국과학기술원(KAIST)과 제이투와이소프트, 토즈와 함께 개발했다. 연구진은 기술개발 과정에서 SCI급 논문 4편, 국내·외 특허출원 17건, 3건의 기술이전 등의 성과를 거뒀다.
연구진이 개발한 기술은 △다중·이형센서기반 상황적응형 인터랙션 프레임워크 △다인칭 사용자 3차원 정밀 동작 분석 기술 △복합공간상 사용자 위치 추정 기술 △개인 모바일 디바이스 인터랙션 증강 기술 등 4가지다.
몰입형 XR의 핵심 기술은 다인칭 사용자 3차원 정밀 동작 분석과 복합공간상 사용자 위치 추정 기술이다. 먼저, 다인칭 사용자 3차원 정밀 동작 분석 기술은 모바일 환경에서 딥러닝 기술을 이용해 2차원 영상 데이터 기반으로 사용자의 3차원 관절 위치 정보를 추론하는 방식이다.
기존 방법들은 고가의 그래픽처리장치(GPU) 장비가 탑재된 시스템 자원을 요구하지만, 본 기술은 사용자의 스마트폰을 이용해 3차원 자세 정보를 효율적으로 추출할 수 있다는 장점이 있다.
아울러, 복합공간상 사용자 위치 추정 기술은 증강현실 콘텐츠를 현실 세계에 자연스럽게 융합하기 위한 기술이다.
스마트폰 카메라를 활용해 영상의 특징점을 추출하고, 이를 기반으로 3차원 포인트 클라우드를 생성 및 보정해 환경 맵을 구축한다. 생성된 맵을 활용해 사용자의 디바이스 위치를 정밀하게 추정할 수 있다.
이 기술은 사용자가 AR 환경에서 몰입감을 극대화할 수 있도록 설계되었다. 이로써 가상·증강 환경에서 사용자의 환경과 행동을 정밀하게 해석해 다수의 사용자에게 별도의 제약 없이 동일한 품질의 인터랙션 제공이 가능하다.
이 기술은 스마트폰을 활용하여 몰입감을 극대화할 수 있도록 설계되었고, 연구진은 증강현실에 맞춰 가상현실 공간을 만들어 로컬 및 원격에서 다수 사용자가 참여하여 생생한 XR 체험이 가능하도록 시범 콘텐츠를 만들었다.
증강현실 속에서 범용 스마트폰을 활용한 헤드마운티드 디스플레이(HMD)를 착용한 두 명의 로컬 사용자는 각각 여우와 어린왕자의 역할을 하고, 가상현실 속에서 HMD를 착용한 또 다른 한 명의 원격사용자는 허수아비 캐릭터 역할을 했다. 이로써 다수의 인원이 참여하여 원격몰입 확장현실을 시연할 수 있었다.
연구진은 증강현실을 통해 실제 공간과 가상의 공간을 연동해 두 개의 공간을 공유하며 사용자의 제스처 인식까지 가상의 캐릭터에 반영하는 데 성공한 셈이다.
본 기술은 노원기차마을 스키장 디오라마, 국립중앙도서관 '자산어보'등을 현장에서 체험할 수 있는 시범서비스에 적용되었으며, 2023년 9월 독일 IFA에서 다중참여 원격몰입 XR 전시를 통해 뛰어난 기술력과 혁신적인 콘텐츠로 많은 관심을 모았다. 전문가들을 통해 이 기술이 XR의 새로운 발전과 지평을 열어갈 원동력이라는 평가도 받았다.
monarch@fnnews.com 김만기 기자
※ 저작권자 ⓒ 파이낸셜뉴스, 무단전재-재배포 금지