'AI 석학' 얀 르쿤 “현재 AI, 고양이 만큼도 물리세계 이해 못해...다음 AI 혁명은 ‘월드모델’"

[파이낸셜뉴스] “텍스트 만으로는 인간 수준의 AI에 도달할 수 없다. 우리는 물리 세계를 이해하고, 비디오 등 감각 입력을 통해 스스로 학습하는 AI 시스템이 필요하다"

세계적 AI 석학 중 한 명인 얀 르쿤 뉴욕대 쿠란트수학연구소 교수 겸 메타 수석과학자는 27일 서울 용산구 서울드래곤시티에서 열린 ‘AI 프론티어 국제 심포지엄 2025’ 기조강연에서 “LLM은 5년 이내 구식이 될 것”이라며 이같이 말했다.

수년 내 대규모언어모델(LLM)을 대신해 현실 세계를 이해하고 로봇을 제어할 수 있는 ‘월드모델(World Model)’이 AI의 대세 기술로 부상할 것이라는 것이 그의 전망이다.

르쿤 교수는 "텍스트 기반 학습만으로는 인간 수준의 AI에 도달할 수 없고, 시각·청각 등 감각 입력을 통한 세계 이해가 필수적”이라고 진단했다.

르쿤 교수는 이날 “AI는 지금 또 한 번의 혁명을 앞두고 있다”며 “지난 15년간 딥러닝과 LLM으로 이어진 기술적 도약이 있었지만, (AI 혁신) 여정은 아직 끝나지 않았다”면서 “다음 세대 AI 혁명은 ‘월드모델’을 중심으로 전개될 것”이라고 설명했다.

그러면서 “진정으로 (AI사) 지능적인 기계에 도달하기 위해서는 앞으로 몇 번의 혁명이 더 필요하며, 그 핵심이 바로 월드모델 개념”이라며 “AI가 물리 세계의 작동 원리를 이해하고, 인간처럼 스스로 사고·계획할 수 있어야 한다”고 말했다. 그는 “머지않은 미래에는 모두가 AI 어시스턴트가 내장된 웨어러블 기기를 착용하게 될 것”이라며 “이 기술이 일상에 자연스럽게 녹아들기 위해서는 인간과 같은 수준의 이해력과 지능이 필요하다”고 덧붙였다.

특히 르쿤 교수는 현재의 생성형 AI가 보여주는 능력은 인간 지능의 일부분에 불과하다고 진단했다. 그는 “인간과 동물은 세상에 대한 ‘정신적 모델’을 갖고 있고, 목표를 세우고 계획을 세우며 행동한다”며 “AI도 물리적 세계를 이해하고 스스로 학습하며 행동을 예측하는 구조로 진화해야 한다”고 말했다. 이러한 구조적 전환의 핵심이 ‘월드모델’, 그리고 ‘JePA'(Joint Embedding Predictive Architecture, 공동 임베딩 예측 아키텍처)’라고 제시했다.

월드모델은 AI가 외부 세계의 상태를 추상적으로 인식하고, 특정 행동을 수행했을 때 세계가 어떻게 변할지를 스스로 예측하는 시스템이다. 르쿤 교수가 제시한 개념인 JePA는 픽셀 단위의 단순 생성 대신 ‘표현 공간’에서의 예측을 통해 더 높은 수준의 추론과 계획을 가능하게 하는 방식이다. 즉, 물리 세게를 이해하고 스스로 계획과 추론을 하는 AI라고 르쿤 교수는 정의했다.

르쿤 교수는 “현재의 AI는 실제로 물리적 세계를 이해하는 측면에서는 아직 고양이만큼 똑똑하지 않다”면서 “AI가 영상과 감각 데이터를 스스로 해석해 세계의 작동 원리를 학습해야 인간 수준의 사고에 접근할 수 있다”고 덧붙였다.

그는 “AI 연구자들이 인간 수준 AI를 목표로 한다면, LLM이 현재 할 수 없는 영역, 즉 세계 이해, 지속 기억, 복잡한 계획과 추론에 집중해야 한다”고 조언했다.

르쿤 교수는 앞으로 수년, 최대 5년 내 JePA형 구조가 주류로 자리잡을 것으로 전망하며, 실시간 비전과 하드웨어 메모리 혁신이 다음 AI 경쟁의 핵심이 될 것이라고 내다봤다.

[e-mail] 조윤주 기자