자신만의 학습철학까지 깨친 '시스템3'

'자동화 과정'자체를 자동화
최근 바이브코딩 기술 화제
우리도 사고 체계 발전해야

노벨 경제학상을 수상한 대니얼 카너먼은 인간의 사고방식을 두 가지로 분류한다. 첫번째는 주변 상황에 맞게 즉각 반응하는 사고체계로 '시스템1'으로 불리며, 루틴을 만들어내고 빠른 일처리를 담당한다. 두번째는 상황의 원인을 추론하는 사고체계로 '시스템2'로 불리며, 시스템1보다는 느리지만 상황 변화에 민감하고 유연한 일처리를 담당한다.

행동경제학의 시스템1과 시스템2는 인지과학적 관점에서도 해석할 수 있다. 철학자 대니얼 데닛은 '마음의 진화'라는 책에서 지능을 네 가지로 분류하는데, 여기서 환경의 피드백을 바탕으로 생존을 위한 행동패턴을 만들어가는 '스키너 생물'은 시스템1에 대응되며, 자신만의 환경 모델을 만들어 앞으로 벌어질 상황을 시뮬레이션하는 '포퍼 생물'과 환경을 도구화하는 '그레고리안 생물'은 시스템2에 대응되는 개념이다.

인공지능(AI)의 석학 요슈아 벤지오는 뉴립스(NeurIPS) 2019 기조연설에서 딥러닝도 시스템2 사고가 필요하다고 주장했다. 이세돌 바둑 기사와 대결했던 알파고의 기반 기술인 모델프리(model-free) 강화학습은 시스템1에 가깝다. 알파고 이후 환경 모델을 바탕으로 전략을 세우는 모델 기반(model-based) 강화학습 기술, 그리고 추론 능력을 갖춘 GPT나 제미나이는 시스템2의 경지에 도달했다고 볼 수 있다. 시스템1 수준의 로봇에게 '커피는 이렇게 만드는 거야'라고 시범을 보여준다면 그들은 인간의 행동을 충실하게 모방할 것이지만, 시스템2는 시범자의 행동 원리를 학습하여 그들만의 커피를 만들 수 있다.

뇌과학에서는 시스템1과 시스템2 사고에 관여하는 신경과학적 기전에 대한 연구가 오랫동안 진행되어 왔다. 1990년대 후반 영장류 도파민 신경세포에서 시스템1의 증거를 최초로 발견한 이후, 인간의 중뇌가 시스템1 사고에 관여하며 전두엽과 해마는 시스템2에 관여한다는 연구 결과들이 이어졌다. 인간은 시스템1과 시스템2 사고를 결합하여 효율적이면서 유연한 학습을 하고, 이를 바탕으로 직관을 형성한다. 직관은 상위 시스템적 사고의 바탕이 되니 시스템0 정도로 볼 수 있겠다.

이와 같이 AI와 인간은 시스템0·1·2 사고를 활용하여 복잡한 문제들을 해결한다. 0, 1, 2 다음 숫자가 3이니 시스템3는 어떤 사고방식일지 궁금하지 않은가. 때마침 시스템2의 프레임을 벗어나는 기술들이 선보이고 있다. 최근 화제가 되고 있는 '바이브코딩(VibeCoding)'은 코딩이라는 '자동화 과정 자체를 자동화'하는 기술로 볼 수 있다. 또한 구글 딥마인드에서 공개한 '알파이볼브(AlphaEvolve)'는 수학적 증명이나 새로운 알고리즘을 생성하는 AI 모델로 '알고리즘을 만들어주는 알고리즘'으로 볼 수 있다. 시스템2에 대한 시스템2, 이것을 시스템3 사고방식이라고 정의해보자.

이렇게 시스템3의 세상에서는 '문제를 해결하는 문제'를 해결하고, 더 나아가 '생각에 대한 생각'을 한다. 메타인지가 '인지한다는 사실을 인지'하는 개념이라면, AI에서는 '학습하는 방식을 학습'하는 메타학습과 AI 모델을 최적화하는 AI라는 오토머신러닝(AutoML) 기술이 있다. 또한 주어진 데이터를 충실히 학습했던 지도학습(Supervised learning)에서 스스로 학습할 데이터와 방향성을 만들어 나가는 자기지도학습(Self-supervised learning) 기술이 발전하고 있다.

오늘의 AI가 데이터를 학습하고 추론하는 시스템2라면, 내일의 AI는 데이터를 학습하는 방식을 학습하여 자신만의 학습 철학을 깨치는 시스템3가 될 것이다.

AI의 주권, 소버린 AI에 대한 논의가 구체화되면서 인재양성-데이터-모델의 균형 잡힌 발전이 기대된다. 그러나 조바심은 우리 자신을 시스템1으로 다운그레이드시킬 수 있다. 시스템2 사고를 발휘하여 AI가 이해한 인간 세상의 원리를 들여다보고, 이를 이용해 우리의 사고체계를 시스템3로 업그레이드하면 어떨까.

이상완 KAIST 뇌인지과학과 부교수, 신경과학-인공지능 융합연구센터장