'자료 찾다 엉뚱한 답 내놓는 AI'… 고려대, 스스로 생각하는 AI 에이전트 '맹점' 찾았다
[파이낸셜뉴스] 인공지능(AI)이 스스로 인터넷에서 필요한 정보를 찾아 판단하고 답을 내놓는 기술이 확산하는 가운데, 외부에서 조작된 문서 몇 장만으로 AI의 판단 경로를 바꿔 엉뚱한 결론을 내리게 만드는 보안 취약점이 국내 연구진에 의해 밝혀졌다.
고려대학교는 컴퓨터학과 장부루 교수팀이 AI 에이전트의 검색과 추론 과정을 단계별로 방해해 공격자가 의도한 답변을 만들도록 유도하는 새로운 보안 공격 기법 'KidnapRAG(키드냅RAG)'를 규명했다고 28일 밝혔다.
최근 챗GPT나 제미나이 등 주요 인공지능 서비스에는 단순 질문 답변을 넘어 스스로 인터넷을 뒤져 자료를 검색하고, 여러 단계의 생각을 거쳐 정답을 도출하는 'Agentic RAG(에이전트 기반 검색증강생성)' 기술이 활발히 도입되고 있다. 하지만 AI가 자율적으로 정보를 찾아나서는 과정에서 악의적으로 작성된 '미끼 문서'를 읽게 될 경우, 전체 판단 흐름이 왜곡될 수 있다는 지적이 제기되어 왔다.
장 교수팀은 AI 서비스의 내부 시스템을 직접 공격하거나 해킹하지 않고도, 외부에 게시된 조작 문서만으로 AI의 추론 방향을 점진적으로 바꾸는 방식을 분석했다. AI가 검색 결과와 중간 판단 과정을 외부에 보여준다는 점을 활용해, AI가 다음에 어떤 정보를 검색할지 미리 예측하고 길목마다 조작된 문서를 배치하는 방식이다.
실험 결과 이 같은 공격 방식은 AI가 처음 정한 올바른 추론 경로로 돌아가지 못하도록 지속적으로 방해했으며, 최대 78%의 높은 공격 성공률을 기록했다. 기존 공격 기법이 AI 스스로 오류를 인지하고 교정할 수 있었던 것과 달리, 이번에 찾아낸 기법은 AI의 판단 고리 자체를 납치하는 수준이라는 것이 연구팀의 설명이다.
이번 연구는 금융, 의료, 법률 등 정확도가 생명인 분야로 AI 에이전트 적용이 확대되는 상황에서, AI의 보안 안전망을 선제적으로 점검할 수 있는 발판을 마련했다는 점에서 의미가 크다.
장부루 고려대 교수는 "실제 서비스 환경과 유사한 조건에서 AI 에이전트의 검색과 추론 경로가 공격받을 수 있음을 시의적절하게 밝혀냈다"며, "향후 AI 에이전트의 전 과정을 보호하는 방어 기술로 이어져 더 안전하고 신뢰할 수 있는 인공지능을 개발하는 데 기여하길 기대한다"고 말했다.
이번 연구는 KT 프론티어랩스와의 협업 및 정보통신기획평가원(IITP)의 지원으로 수행됐으며, 오는 29일까지 헝가리 부다페스트에서 열리는 자연어처리 분야 세계적 권위 학술대회 'EMNLP 2026'에서 발표된다.
[email protected] 김만기 기자
