"폰카로 찍은 사진, AI가 몇초 만에 3D로 바꿔준다"

'한번에 찍는 3차원 사진'(One Shot 3D Photography") 기술 설명 모식도 (페이스북(Facebook)제공) 2020.06.29 / 뉴스1

(서울=뉴스1) 김승준 기자 = 페이스북은 2018년 입체(3D) 사진 기능을 도입했지만 듀얼 카메라가 있는 일부 기종에서만 사용할 수 있었다. 페이스북 연구진이 스마트폰에서 찍은 일반 사진을 몇 초 내에 3D 사진으로 바꿀 수 있는 알고리즘을 개발해 더 많은 기기에서 이용할 수 있을 전망이다.

컴퓨터 협회 ACM(Association for Computing Machinery)은 8월 국제 컴퓨터 그래픽 콘퍼런스 'SIGGRAPH' 2020년 행사에서 페이스북 연구진이 이같은 기술을 시연할 예정이라고 밝혔다.

입체 사진 기능은 2018년 페이스북에 도입됐다. 다만 듀얼렌즈 카메라를 가진 일부 스마트 폰에서만 가능했다. 현재 페이스북에 따르면 구글 픽셀, 갤럭시 노트 8 출시 이후 일부 모델, 아이폰 7+ 출시 이후 일부 모델 등에서만 이 기능을 지원한다.

연구진은 평범한 2D 사진에서 깊이 정보를 추정하는 알고리즘을 개발했다. 따라서 카메라의 개수나 특수 센서 같은 기기의 제약 없이 3D 이미지를 제작할 수 있다. 연구진은 새로운 시스템을 만들기 위해 기계 학습법의 일종인 CNN(Convolutional Neural Network)을 수백만 쌍의 공개 3D 이미지와 깊이 정보를 이용해 훈련시켰다. 이 기술은 2D로 입력받은 이미지의 색상과 기하학적 특성을 분석·추정·통합해 3D로 변환한다.

사용자가 모바일 장치 수준에서 직접 변환할 수 있도록 연구진은 페이스북 인공지능(AI)에서 개발한 기술로 최적화시켰다. 이들에 따르면 대부분의 기기에서 몇 초 만에 평범한 사진을 입체 사진으로 변환할 수 있고 새로 찍은 사진뿐 아니라 기존 찍은 대부분의 사진도 입체로 바꿀 수 있다.

이번 연구에 참여한 페이스북의 요하네스 코프(Johannes Kopf)는 "지난 백 년 동안 사진은 몰입도를 점차 높여왔다. 흑백 사진에서 컬러 사진, 디지털 사진으로 바뀌며 품질과 해상도가 높아졌다"며 "마침내 생생하고 실감나는 3D 사진을 찍을 수 있는 단계까지 왔다"고 말했다.

연구원들은 앞으로 사진을 넘어 모바일 장치로 촬영한 영상에서 깊이 정보를 높은 정확도로 추정할 수 있는 기계 학습 방법을 연구해 나갈 방침이다. 이같은 평면 이미지·영상에서 입체 이미지·영상을 추출하는 기술은 애니메이션 제작이나 특수 효과 분야같이 높은 수준의 정밀도가 필요한 산업 영역에서는 아직 쓰이지 못하고 있다. 자연스럽게 만들기 위한 후처리 비용이 들기 때문이다.

하지만 이미 널리 퍼져있는 일반 카메라를 이용할 수 있다는 점에서는 대중적 활용 가능성이 높다.

한편, 페이스북의 최고 경영자 마크 저커버그(Mark Zuckerberg)는 2014년 가상현실(VR) 기기 업체 오큘러스(Oculus)를 인수한 이래로 가상현실 및 증강현실(AR) 같은 실감 미디어 기술이 미래 기술의 주류가 될 것이라 의견을 밝혀왔다. 이같은 3차원 이미지 추출 기술을 응용하면 비교적 저렴하게 영상 분석이나 입체 데이터 변환을 할 수 있다.