[fn광장]병목현상 예찬론

연휴 나들이 차량이 모이는 분기점
병목현상을 우리는 골칫덩이 인식
허리띠 꽉조인 옷입은 인공지능은
빅데이터 속 핵심 꺼내는 '일타강사'
병목은 문제의 핵심 짚어내는 장치
사회·정치적 문제 해법 구할 수 있어

이상완 KAIST 신경과학·인공지능 융합연구센터장

병목현상은 좁은 구간이나 제한적 조건으로 인해 작업의 효율성이 떨어지는 상황으로, 일반적으로 부정적 맥락으로 해석된다. 연휴 수많은 나들이 차량이 모이는 분기점에서 발생하기도 하며 상점이나 음식점에서의 혼잡, 테마파크 인기 놀이기구의 줄도 병목현상으로 볼 수 있다. 수요자들은 인내하거나, 지인 카드나 양심을 지불하여 새치기하고, 더 비싼 표를 구매하는 등 대안을 찾는다.

병목은 컴퓨터 세상에서도 쉽게 찾을 수 있다. 범용적 컴퓨터는 폰 노이만 구조라 하여 연산을 담당하는 중앙연산장치(CPU)와 데이터를 저장하는 메모리가 구분된다.

연산을 하기 위해 메모리로부터 데이터를 받아오고, 그 결과를 다시 메모리에 보내 저장한다. 이렇게 끊임없이 데이터를 주고받는 연산장치와 메모리의 소통채널에서 종종 병목현상이 발생한다. 이를 해결하기 위해 새롭게 설계된 그래픽처리장치(GPU) 역시 인공지능(AI)이 던져주는 일감을 감당하지 못하면 병목현상은 다시 찾아온다.

그런데 골칫덩이 병목현상은 AI 세상에서는 종종 환영받는다. 초창기 신경망에서는 입력에서 출력층으로 갈수록 차선을 줄이듯 뉴런 개수를 점차 줄이는 구조를 도입하여 현재 작업과 관련없는 군더더기를 걷어낸다. 근대 생성 AI 분야를 일으킨 오토 인코더(Autoencoder)는 아예 병목을 적극 활용한다. 넓은 입력단은 은닉층으로 불리는 중간 부위로 가면서 좁아졌다가 출력단에서는 다시 넓어진다. 이처럼 허리띠를 꽉 조인 형태의 옷을 입은 AI는 딴짓할 겨를이 없다. 입력 데이터를 잘 소화시켜 출력단에서 복원할 수 있는 최소한의 정보를 찾아내야만 하는 절박한 상황에 내몰린다. 빅데이터 속 핵심을 짚어내는 소위 "일타강사"가 되어야 한다. 병목구조로 인해 데이터의 양이 질로 환전된다.

GPT, 클로드, 제미나이와 같이 현대 AI의 최전선에 있는 거대언어모델(LLM) 역시 허리띠를 조여매는 '인코더-디코더' 구조의 이득을 톡톡히 보고 있다. LLM은 인간 사용자의 두서없는 긴 입력이 끝날 때까지 기다렸다가 넓은 입력단에서 한번에 받아낸다. 입력은 인코더를 거치며 서서히 맥락 정보로 변환되고, 디코더에서는 이해한 맥락 정보에 맞게 허리띠를 서서히 풀며 출력으로 변환한다. 데이터 양만큼 길어지는 학습 시간을 줄이고 실제 모델 적용 시점에서 추론능력으로 병목의 한계를 극복하기도 한다. 그 결과 모델의 추론능력이 급격히 향상된다.

이세돌과 세기의 대결을 펼친 알파고와 같은 AI는 병목을 이용해 공간적 정보와 시간적 정보를 상호 변환한다. 이 모델은 바둑처럼 게임화된 환경 속에서 상대방과 상호작용하면서 현재 상황이 목적을 이루는 데 얼마나 도움되는 상황인지를 평가하는 가치함수(Value)와 실제 목적을 이루기 위한 행동 정책함수(Policy)를 학습하는데, 바둑이라는 엄청난 양의 시간적 경험을 작은 공간적 메모리에 담을 수 있는 일종의 병목 함수로 변환하는 과정이다. 그리고 실제 상황에서는 이 함수 속 공간정보를 행동을 통해 하나씩 시간 속으로 풀어낸다. 병목이 시간과 공간을 연결하는 멋진 장면이다.

고등 생물에서도 병목현상은 중요한 역할을 한다. 감각기관의 인식 범위는 제한적이고, 기억 담당 해마는 전화번호가 조금만 길어져도 힘겨워하며, 신체기관도 물리적인 제약이 크다. 인간과 같은 고등 생물은 이러한 생물학적 병목을 극복하기 위해 지능화되었다는 해석도 있다. 감각기관으로 들어오는 많은 양의 정보를 주의집중으로 걸러내고, 미처 인지하지 못한 사건은 예전의 기억으로 메우고, 작업기억은 긴 사건을 짧은 맥락으로 요약하기도 한다. 이러한 인지적 병목을 제한적 합리성(Bounded rationality)이라 하며, 병목이라는 구조적 제약을 단시간에 해결할 수 없는 상황에서는 지능화가 효율적인 생존전략이 될 수 있다. 신경 표상 차원 연구에 따르면 원숭이와 인간의 전두엽은 상황에 맞게 병목의 크기를 실시간으로 조절하기도 한다.

시각피질에서 간단한 특징을 인식하는 부위(V1)나 사물 인식 부위(IT)에서는 1% 이하의 신경세포만 활성화되는 극단적인 기능적 병목현상이 나타나며, 이는 수학적으로 희소 표상(Sparse coding)이라 하여 메모리와 에너지를 적게 쓰면서 일반화 성능을 높이는 것으로 알려져 있다.

이처럼 병목현상은 동전의 양면과 같다.

병목을 큰 그림 속에서 본다면 문제의 핵심을 짚어내기 위한 장치가 되고, 사회적·정치적 해법을 창발시킬 동기부여가 될 수 있다. 차가 밀려 짜증날 때 오늘의 병목 이야기로 위안 삼자.

이상완 KAIST 신경과학·인공지능 융합연구센터장