[fn광장] 인공지능의 환각은 죄가 없다

인공지능은 시·공간적 흐름 모호
데이터 의존 않고 추론능력 극대화
실제 존재하지 않는 정보 만들수도
AI환각 줄이면 팩트의 틀 속 갇혀
스스로 자기 판단·오류 점검하는
메타인지형 AI·인간이 딜레마 해결

이상완 KAIST 신경과학-인공지능 융합연구센터장

인간의 환각은 정신질환으로 분류된다. 환각이 상상에만 머물면 괜찮겠지만 행동에 옮길 때는 문제가 될 수 있다. 인공지능이 우리 일상에 스며들면서 인공지능의 환각(할루시네이션)이 화두가 되고 있다.

인공지능의 이슈 리포트나 최근 논문들을 보면 인공지능의 환각 문제는 체계적으로 잘 분석된 것 같다. 프롬프트를 통해 명시적으로 주어진 정보들을 종합하는 과정에서 사실관계에서 벗어나는 '내재적 환각'이 발생하며, 문제 해결을 위해 인공지능 스스로 사실과 다른 정보를 도입하는 '외부적 환각'도 있다.

GPT, 제미나이, 클로드, 딥시크와 같은 대부분의 거대언어모델들은 초기 데이터 학습-파인튜닝-추론을 결합하는 복잡한 학습 과정을 거치며, 실제 운용 시에도 내부적으로 다양한 에이전트가 협업하는 방식으로 구성되어 있어 환각의 원인은 복합적인 경우가 많다. 거대언어모델들에 표준 인지능력검사를 해 보면 환각 없는 장기기억 인출 능력과 새로운 정보를 연속적으로 기억하는 능력이 현저히 떨어진다는 보고도 있다. 이러한 분석에 맞춘 기술적인 해법도 많다. 원인이 되는 학습 과정 자체를 통제하거나, RAG와 같이 인공지능을 데이터베이스나 검색엔진과 연동하여 환각을 데이터에 묶어버리기도 한다. 이처럼 인공지능의 환각을 어떻게 하면 줄일 수 있을지가 초유의 관심사이고, 심지어 인공지능에 환각을 물어봐도 자기 자신의 문제점이라고 대답한다. 그렇다면 인공지능의 환각은 치료해야 할 질병인가. 반은 맞고 반은 틀리다.

먼저 질병의 관점에서 생각해 보자. 인공지능과 인간을 비교하는 연구 결과들을 보면 동일한 상황에서 인공지능의 내부 맥락 정보와 인간이 이해한 맥락은 대체로 유사하다. 그러나 같은 맥락이라 할지라도 인공지능의 덩치가 커질수록 인간과 다른 판단을 하는 경우가 생겨나기 시작한다. 이는 인공지능이 인간 데이터의 범주를 벗어나 스스로 판단할 수 있음을 뜻한다. 한편 최근 영국 유니버시티 칼리지 런던 연구팀이 '네이처 인간 행동' 저널에 발표한 실험 결과에 따르면 인공지능은 인간과 상호작용을 통해 인간의 감정 인식 편향성을 빠르게 증폭시킬 수 있으며, 인간이 인공지능을 인공지능이라고 명확히 인지하고 있는 경우라도 편향성이 증폭된다. 악순환의 고리가 만들어지면 인공지능의 환각이 인간의 환각으로 전염될 수 있음을 뜻한다. 이러한 환각의 바이러스는 인간이 배제된 순수 인공지능 시스템 속에서 더 빠르게 자라난다. 예를 들어 여러 종류의 인공지능 에이전트가 협업하는 최신 추론 엔진이나, 인공지능을 로봇에 탑재하여 스스로 데이터를 생성하고 추론하는 물리적 인공지능의 세상에서는 환각-데이터 생성-추론이라는 인간이 배제된 악순환의 고리가 생겨날 수 있다.

이제 인공지능의 변을 들어보자. 언어 인공지능의 핵심 연산 모듈은 입력된 정보 사이의 상관관계를 통해 인과관계를 학습하므로 시간의 흐름이 모호하다. 또한 하위 입력 정보로부터 상위 문맥을 추정하는 상향식 추론과, 추정한 문맥을 바탕으로 입력된 정보를 걸러 듣는 하향식 필터링이 동시에 일어나므로 정보의 공간적 흐름도 모호하다. 인간과 달리 시간·공간적 경계에 얽매이지 않고 병렬적으로, 깊게 파고들어가는 연산 과정 자체가 인간의 관점에서 보면 '환각'이다.

이렇게 인공지능은 환각과 유사한 방식으로 데이터의 깊은 문맥을 학습하고, 이어 '가치 정렬 과정'이라 하여 알파고를 만드는 데 사용된 강화학습과 같은 다른 인공지능의 평가를 받으며 파인튜닝된다. 튜닝 과정에서 인간의 상위 가치판단 기준을 반영한 모델에 좋은 평가를 받으려면 데이터를 상위 수준에서 해석할 수 있어야 하니 그 과정에서 일부 디테일을 무시하거나 약간의 과장을 섞는 일종의 환각이 발생한다. 더 나아가 최신 인공지능은 데이터에 의존하지 않고 스스로 문제를 내고 스스로 해결하는 과정을 통해 추론 능력을 극대화한다. 이러한 순환 학습에서 사실관계는 방해가 될 뿐이다. 약간의 과장을 섞자면 인공지능은 환각을 적극 활용하여 금자탑을 쌓았다.

인공지능이 환각으로 우리에게 인정받았는데 이제 와 환각을 뭐라 하니 나름 억울할 것 같다. 그렇다고 환각을 줄이자니 인공지능은 다시 인간이 만든 팩트의 틀 속에 갇히게 된다.

딜레마의 해결책은 무엇일까. 언제 인간의 지식 속에 머물 것이며 언제 환각을 통해 지식의 동굴을 벗어날 것인지를 스스로 판단할 줄 아는 메타인지형 인공지능과, 위험한 환각은 인공지능에 맡기고 안전한 팩트의 영역에서 인공지능의 추론과 상상력의 혜택만을 취할 줄 아는 메타인지형 인간이다.

이상완 KAIST 신경과학-인공지능 융합연구센터장