"AI 자율성 커질수록 위험… 신뢰·안전 담보할 모니터링 체계 갖춰야" [AI월드 2026]

Governing AI
AI 자유로운 작동은 이미 충분
권한 통제할 겹겹의 안전망 필수
사고 원인·책임 찾을 수단 있어야

인공지능(AI)이 산업 전반으로 빠르게 확산하면서 활용을 늘리는 것만큼 신뢰성과 안전성을 확보하기 위한 모니터링 체계를 갖추는 것이 중요하다는 제언이 나왔다. AI 에이전트의 자율성이 커질수록 문제가 발생했을 때 책임 소재를 명확히 하고, AI의 작동 과정을 지속적으로 점검할 수 있는 체계를 정부와 기업이 꾸준히 마련해야 산업 현장의 AI 전환(AX)이 안정적으로 확산할 수 있다는 지적이다.

안젤리나 콴 퓨처 네이티브 공동창업자는 9일 서울 송파구 롯데월드타워 롯데시네마에서 파이낸셜뉴스와 과학기술정보통신부가 공동 개최한 'AI월드 2026' 거버닝 AI 토론 세션에서 "AI와 에이전트가 자유롭게 작동하는 체계는 이미 실행되고 있다"며 "이제 필요한 것은 AI의 책임 있는 사용"이라고 말했다. 이어 "그래서 에이전트를 모니터링하고, 자신의 책임이 무엇인지 파악하는 것이 중요하다"며 "에이전트가 통제 범위를 벗어나지 않도록 이중 삼중으로 점검하는 통제가 필요하다"고 부연했다.

콴 창업자는 금융 서비스를 사례로 들어 AI의 행동을 추적할 수 있는 모니터링 시스템의 중요성을 강조했다. 그는 "금융 서비스 회사가 AI를 거래나 고객 지원에 활용하고 문제가 발생한다면 (금융 서비스) 인허가를 받은 회사가 책임을 지게 된다"며 "에이전트를 모니터링하고 그 과정이 제대로 이뤄지도록 관리하는 것이 매우 중요한 이유"라고 설명했다.

최장혁 서울대 전기정보공학부 특임교수도 AI 에이전트에 과도한 자율성을 부여하는 데 대해 경계했다. 최 교수는 해킹 사례 등을 언급하며 "AI 에이전트에 자율성을 준다는 것이 굉장히 위험한 일"이라며 "AI에 처음부터 너무 많은 권한을 주지 말고 권한을 획득해 나가도록 해야 한다"고 했다. 이어 AI 에이전트를 지속적으로 모니터링할 수 있는 '강한 관찰(Strong Observability)'이 필요하다고 강조했다.

최 교수는 AI의 속도가 빨라질수록 사람이 직접 이를 통제하는 데 한계가 커질 수 있다고 봤다. 그는 "기본적으로 인간 대응의 한계가 있기 때문에 인간이 AI를 계속 감시하는 것은 굉장히 어려운 숙제이고 점점 더 어려워질 것"이라며 AI를 통제하는 별도의 AI나 블록체인 등 기술적 보완책도 거론했다.

토론 좌장을 맡은 최경진 한국인공지능법학회장(가천대 법학과 교수)은 "AI 신뢰성에 대한 담보가 되지 않는다면, AX도 AI를 기반으로 한 산업도 발전해갈 수 없다"고 덧붙였다. AI의 신뢰성과 안전성을 확보하는 과정에서 정부의 역할도 중요한 상황이다. 특히 빠르게 진화하는 AI를 개별 국가의 법과 규제만으로 따라가는 데 한계가 있어, 유연한 제도적 대응과 함께 국가 간 협력을 통한 글로벌 AI 거버넌스를 구축해야 한다는 지적이다.

한국이 이 같은 AI 거버넌스를 구축하는 데 미국과 중국 사이를 잇는 가교 역할을 할 수 있다는 해석도 나왔다. 최 교수는 "비즈니스적으로 미국도 한국에 의존하는 부분이 있고 중국도 한국이라는 나라를 무시할 수 없다"며 "중국을 포함해 아프리카와 중동 국가까지 글로벌 거버넌스에서 한국이 역할을 한다면 극단으로 치닫는 미중 AI 경쟁에서 중간 역할을 할 수 있다"고 했다.

콴 창업자도 한국이 아시아태평양지역의 AI 협력을 주도할 수 있다고 봤다. 그는 "한국은 AI 프레임워크를 마련한 최초의 국가였고, AI법이 시행되는 국가다. 이는 아시아태평양지역 어느 나라도 하지 않은 일"이라고 말했다. 이어 대만의 칩(반도체) 산업과 한국의 금융·인프라 경쟁력 등을 예로 들며 각국의 강점을 바탕으로 공동의 AI 프레임워크를 논의할 수 있다고 제안했다.

여러 과제 속에서 기업 현장에서는 AI 활용을 기업의 관리·통제 체계 안으로 가져오면서 생산성을 높이려는 AX가 확산하고 있다. 조은미 웹캐시 성장전략센터 이사는 내부 AX 경험을 소개하며 "직원들이 만들어낸 애플리케이션(앱)들이 개개인의 지식으로 남는 게 아니라 기업의 자산으로 남도록 지원하고 있다"며 "가장 중요한 보안과 감사, 관리 권한 체계도 적용한다"고 말했다.

오성수 BC카드 AI데이터본부장은 금융권의 특수한 규제 환경에서도 AI를 활용한 업무 혁신과 새로운 금융 서비스 발굴에 속도를 내고 있다고 밝혔다. 오 본부장은 "금융회사는 망분리 규제로 챗GPT나 클로드 같은 외부 AI를 자유롭게 활용하기 어렵지만 오픈소스 거대언어모델(LLM) 등을 활용해 수십개의 과제를 완료했거나 추진하고 있다"고 말했다. 이어 "앞으로는 상품 탐색부터 비교, 결정, 결제까지 AI 안에서 이뤄지는 '에이전틱 커머스' 시대가 올 것"이라며 "에이전트가 고객을 대신해 행동하게 되면 관련 법과 새로운 표준도 마련돼야 한다"고 봤다.

다니엘 황 퓨처 네이티브 최고경영자(CEO)는 AI 에이전트의 성능과 자율성이 높아질수록 기업 내부의 자체 로그만으로는 사고 원인과 책임을 충분히 입증하기 어려워질 수 있다고 경고했다. 황 CEO는 "기업은 자신이 사용하는 모델이나 플랫폼에 대해 충분히 이해하고 있어야 한다"며 "사고가 발생했을 때 내부 관측 도구와 기록뿐 아니라 그 기록이 사실이라는 점을 뒷받침할 외부의 독립적인 확인 수단도 필요하다"고 강조했다. 이어 "AI는 기계의 속도로 움직이고 있어 더 이상 사람이 과정에 개입하는 것만으로 해결할 수 있는 문제가 아니다"라며 기업과 정부가 규제 당국과 소통하면서 사고 이후까지 대비할 수 있는 검증체계를 선제적으로 마련해야 한다고 말했다.

최명섭 티냅스 AI 총괄은 AI 에이전트를 실제 업무에 맡기기 위해서는 도입 전 평가에 그치지 않고 운영 과정에서 지속적으로 검증 및 통제하는 체계가 필요하다고 봤다. 최 총괄은 "AI 에이전트는 기업 내부 정보와 고객 데이터베이스에 접근할 수 있고, 이메일을 전송할 수도 있다"며 "각각의 단계를 포함한 전체 실행 경로가 성공적으로 작동했는지 검증해야 한다"고 조언했다. 그러면서 AI 에이전트의 답변과 행동을 실시간으로 검증하는 '런타임 트러스트 레이어'를 통해 오류나 개인정보 노출 등을 탐지하고, 필요할 경우 차단하거나 사람에게 판단을 넘기는 통제체계가 필요하다고 설명했다.

특별취재팀 이구순 팀장 연지안 장민권 윤홍집 최혜림 박지연 주원규 임수빈 정원일 최가영 박성현 기자