"피지컬 AI, 똑똑함보다 믿을 수 있다는 '신뢰도'가 핵심" [논설실의 뉴스 진단]

유창동 카이스트 전기전자공학부 교수
'피지컬 AI 경쟁시대' 한국이 가야할 길
경력 불확실성 없애 기술인재 키워야
韓기업, 몸 만들어도 뇌 사야하는 상태
AI산업 새 승부처로 '피지컬AI' 떠올라
피지컬 AI는 현실서 결과를 만드는 AI
상황 맞춰 판단·행동 바꾸는 능력 중요
美는 모델·자본, 中은 제조·공급망 강점
韓은 제조현장의 방대한 데이터가 자산
범용지능의 제조현장 안착이 韓 승부수
韓 로봇행동 데이터셋·테스트베드 부족
기업 혼자 만들기 어려워 정부개입 필요
현장 데이터·실증 기반 인프라 만들어야

유창동 카이스트(KAIST) 교수(전기전자공학부)는 로봇의 몸을 만드는 전문가는 아니다. 그는 로봇의 뇌를 설계한다. 기계가 세상을 인식하고 판단하고 실제 행동으로 옮기도록 만드는 인공지능(AI)이 연구 대상이다.

화면 속에 머물던 AI를 현실세계에서 행동하는 지능으로 끌어내는 게 그의 관심사다. AI 산업의 새로운 승부처로 떠오른 피지컬 AI의 핵심도 여기에 있다.

최근 유 교수가 이끄는 연구팀은 몇 개의 선호 영상만으로도 AI가 인간의 판단기준을 학습할 수 있도록 한 VOTP(Video-based Optimal Transport Preference) 기술을 개발해 이목을 끌었다.

세계의 피지컬 AI 경쟁은 이미 치열하다. 미국은 거대AI 모델과 반도체 설계에서 크게 앞서 있다.

중국은 로봇 제조와 부품 공급망, 거대한 내수시장이 강력한 무기다. 한국은 이들과 같은 방식으로 참전하기엔 무리가 있다. 그 대신 현장에 축적된 방대한 제조 데이터는 말할 수 없는 자산이다.

―AI 산업의 중심축이 생성형 AI에서 피지컬 AI로 빠르게 이동하고 있다. 피지컬 AI를 어떻게 정의할 수 있나.

▲생성형 AI가 화면 안에서 답을 만드는 AI라면 피지컬 AI는 현실에서 결과를 만드는 AI이다. 센서로 세상을 인지하고, 무엇을 할지 판단하고, 모터와 관절을 움직여 실제 행동을 수행한다. 그리고 다시 그 결과를 관찰해서 다음 판단에 반영한다. 중요한 것은 로봇의 외형이 아니다. 로봇은 이 지능을 담는 그릇이고, 본질은 물리세계를 상대로 인지·판단·행동을 반복하는 의사결정 능력이다. 자율주행차나 물류로봇, 협동로봇도 모두 피지컬 AI의 범주에 넣을 수 있다.

―기존 산업용 로봇과 피지컬 AI를 비교한다면.

▲기존 산업 로봇은 정해진 경로와 순서를 반복하도록 미리 프로그램된 자동화 장치에 가깝다. 환경이 조금만 바뀌어도 멈추거나 오작동한다. 반면 피지컬 AI는 인지·판단·행동의 고리를 스스로 돌면서 처음 보는 물체나 상황에도 일반화해서 대응할 줄 아는 지능을 갖게 된다. 산업용 로봇이 정해진 동작을 정확히 반복하는 것을 목표로 한다면 피지컬 AI는 예상하지 못한 상황에서도 합리적인 판단을 내리는 것까지 목표로 한다. 똑똑한 로봇을 넘어 믿을 수 있는 로봇이다.

―피지컬 AI 기대감이 실제 기술보다 너무 앞서 있다는 지적도 있다. 지금 수준이 어디쯤 있나.

▲해외에서는 언어·이미지를 다루던 대형모델 구조가 로봇 제어에 이식되면서 하나의 모델이 여러 과업을 수행하고 처음 보는 물체에도 어느 정도 일반화하는 단계까지 왔다. VLA 계열 모델과 시뮬레이션, 데이터 생성, 로봇 제어를 잇는 툴체인도 빠르게 발전하고 있다. 다만 검증된 환경과 제한된 물체 조건을 벗어나면 성공률이 급격히 떨어지는 문제가 여전히 있다. 자율주행 단계에 비유하면 해외 최선단은 '조건부 자율주행, 레벨 3의 문턱' 정도로 볼 수 있다. 생성형 AI로 보면 GPT-2에서 GPT-3로 넘어가는 길목쯤이다. 폭발 가능성은 크지만 아직 폭발한 단계는 아닌 그 위치다. 국내는 대기업의 로봇 투자와 인수, 제조·공급망 역량, 하드웨어 기반이 강점이다. 반면 행동 데이터, 시뮬레이션, 로봇 파운데이션 모델, 소프트웨어 인력은 상대적으로 약하다. 말하자면 몸은 만들 수 있는데 뇌를 사와야 하는 상태에 가깝다.

―가장 어려운 기술적 과제는 무엇이라고 보나.

▲로봇의 인식·판단·행동의 전체 고리를 실제 환경에서 안정적으로 반복하는 것이 가장 어렵다. 현실은 시뮬레이션처럼 정돈돼 있지 않다. 접촉, 마찰, 물체 변형, 센서 잡음, 기계적 유격 등 예상하지 못한 예외 상황이 계속 발생한다. 따라서 핵심 난제는 한 번의 성공이 아니라 조건이 조금 달라져도 계속 성공하는 신뢰도라고 봐야 한다. 물리적 실패는 파손이나 안전사고로 이어질 수 있다는 점도 생성형 AI와 다른 큰 어려움이다.

―생성형 AI는 인터넷의 방대한 텍스트와 이미지로 학습할 수 있다. 하지만 피지컬 AI는 학습에 필요한 행동 데이터를 모으는 것부터 쉽지 않다고 한다.

▲무엇보다 공짜 데이터가 없기 때문이다. 인터넷의 글과 사진은 사람이 다른 목적으로 만들어 놓은 것을 AI가 주워 담은 것이지만, 로봇 팔이 컵을 잡는 30초는 세상 어디에도 자동으로 저장돼 있지 않다. 직접 만들어야 한다. 시간을 압축할 수 없다는 문제도 있다. 텍스트는 1초에 수백만 단어를 처리할 수 있지만 로봇의 30초 행동 시험은 실제로 30초가 걸린다. 물리세계에는 배속 재생 버튼이 없다. 몸이 다르면 데이터가 달라진다는 점도 중요하다. 같은 동작도 관절 수, 카메라 위치, 그리퍼 모양이 달라지면 데이터가 달라져서 A로봇의 데이터가 B로봇에 그대로 들어가지 않는다. 그래서 효율화 작업이 시급하다. 저가 원격조작 장치, 여러 기관의 공동 데이터셋, 시뮬레이션 합성 데이터, 적은 라벨로 선호를 전달하는 학습법 등의 방법을 함께 활용할 필요가 있다.

―유 교수 연구팀이 최근 개발한 영상 기반 선호학습 기술 VOTP가 이런 어려움을 푸는 데 역할을 할 수 있나.

▲기존에는 로봇 행동이 인간 의도에 맞는지 판단하려면 수천, 수만건의 평가 데이터가 필요했는데 이 기술은 그런 면에서 실용성이 있다. VOTP는 사람이 열번 정도만 이쪽이 낫다고 골라주면, 나머지 수많은 비교를 AI가 알아서 채워 넣는 기술이다. 가령 교수가 답안 10장만 채점해 두면 나머지 1만장을 자동으로 채점하는 것과 비슷한데, 단순히 가장 비슷한 답안 하나만 따라가는 게 아니라 전체 대응을 한번에 균형 있게 배분한다는 것이 핵심이다.

―미국은 AI 모델과 소프트웨어, 중국은 로봇 제조와 공급망에서 강력하다. 한국은 어디서 경쟁력을 찾을 수 있나.

▲미국은 파운데이션 모델과 반도체 설계, 그리고 장기간 손실을 감내할 수 있는 자본력에서 압도적이다. 피지컬 AI는 모델과 로봇을 함께 키워야 한다. 투자기간이 길고 자본 소모가 막대하다. 이런 점에서 미국 빅테크와 대형 투자 생태계가 유리하다. 중국은 부품 공급망을 폭넓게 내재화했고, 거대한 내수시장을 활용해 가격을 낮추며 물량으로 데이터를 쌓는 구조다. 하드웨어 원가 경쟁력은 중국을 따라갈 수 없다. 이 구도에서 한국이 똑같은 방식으로 이들과 규모 경쟁을 벌이기는 쉽지 않다. 한국은 세계 최고 난도의 제조 현장과 그 데이터, 반도체·배터리 등 부품 경쟁력, 현장 실증과 통합 속도를 활용하는 전략이 가장 현실적이다.

―그렇다면 한국의 제조 기반을 피지컬 AI의 우위로 연결할 수 있는 구체적인 방법은.

▲반도체 팹, 조선소, 배터리, 자동차 조립라인에서 나오는 고난도 현장 데이터는 다른 나라가 돈으로 살 수 없는 독보적 자산이다. 범용 모델을 가져다 쓰더라도 그 위에 조선 용접, 반도체 공정, 배터리 제조에 특화된 모델과 통합기술을 얹으면 차별화가 가능하다. 반도체 산업에서 중앙처리장치(CPU)가 아니라 메모리라는 표준화된 층에서 강자가 된 것처럼 피지컬 AI에서도 우리가 압도적으로 잘할 수 있는 층을 찾아야 한다. 결국 우리의 승부처는 거대모델의 복제가 아니라 범용지능을 세계 최고 제조현장에 가장 잘 안착시키는 능력이 될 것이다.

―국가가 뒷받침해야 하는 과제들을 짚어본다면.

▲국가 차원의 로봇 행동 데이터셋과 테스트베드가 많이 부족하다. 이건 공공재 성격이 강해 개별 기업이 혼자 만들기 어렵고, 시장 실패가 쉬운 영역이어서 정부 개입이 가장 필요한 지점이다. 핵심은 현장 데이터와 실증 기반을 국가 인프라로 만들어야 한다는 것이다. 로봇 행동 데이터를 공공자금으로 수집해 국가 로봇 데이터 플랫폼을 구축하는 것이 필요하다. 실제 공장과 물류센터를 본뜬 공용 실증단지를 만들어 중소기업과 스타트업도 저렴하게 테스트할 수 있게 해야 한다. 산업별 도메인 특화모델 등 한국이 강점을 만들 수 있는 층을 전략적으로 육성해야 한다. 국가전략의 1순위는 거대모델보다 데이터, 실증, 표준을 잇는 공공 인프라에 있다고 본다.

―기술인재 부족 문제는 어떻게 풀어야 하나.

▲경력의 불확실성이 문제다. 의사는 긴 시간을 보내지만 이후 소득과 경력 경로가 비교적 예측 가능하다. 반면 공학박사는 10년을 공부해도 40대 이후의 경로가 불투명한 경우가 많다. 장학금만 늘리기보다 이 길을 가면 마흔 이후 어떻게 될 것이라는 확신을 줄 수 있어야 한다. 정규직 연구직과 40~50대 엔지니어의 커리어 트랙을 확대하고 성공했을 때의 보상이 파격적이어야 한다. 학생은 현장으로 가고 현장 엔지니어는 학교로 돌아오는 산학 순환구조도 필요하다. 개인적으로 청소년들이 자유롭지 못한 경직된 사회 문화가 많이 아쉽다. 한국의 청소년들은 틀에 박혀 있는 생활에서 벗어나지 못한다. 황당한 생각을 마음놓고 해볼 수 있어야 하는데 그런 시도를 할 수 없는 환경이 안타깝다. 불가능할 것 같은 일들에 호기심을 갖는 지적 풍토에서 새로운 세상이 열린다. 이들에게 기회를 주는 교육과정을 많이 고민했으면 한다.

[email protected]

■ 유창동 교수는 1963년 독일 본 출생. 미국 캘리포니아공대(칼텍)에서 공학 및 응용과학을 전공하고 코넬대에서 전기공학 석사, 매사추세츠공대(MIT)에서 박사학위를 받았다. 1997년 귀국해 한국통신연구개발본부에서 음성인식 기술을 개발한 뒤 1999년부터 카이스트(KAIST)에서 학생들을 가르치고 있다. 이후 연구영역을 음성·신호처리에서 컴퓨터 비전과 머신러닝, 강화학습과 로봇 지능으로 넓혀왔다.