스스로 배운다던 AI, 해킹 수법까지 익혀 쓴다… 신종 보안 구멍 찾았다

숭실대 학부생 연구팀, 자기진화형 AI 에이전트의 새 보안 위협 규명
악의적 명령을 정상 일머리로 착각해 저장·반복 실행하는 취약점 발견
모의 해킹 프레임워크 'SARGE' 제안…세계 최고 학회 'EMNLP' 채택

[파이낸셜뉴스] 스스로 경험을 쌓으며 똑똑해지는 최신 인공지능(AI)이 해커의 나쁜 공격까지 '정상적인 일'로 배워 저장하고 반복해서 써먹을 수 있는 치명적인 보안 구멍이 발견됐다. 국내 대학 학부생들이 주도한 이 연구는 세계 최고 권위 학술대회에서 그 가치를 인정받았다.

3일 숭실대학교에 따르면, 이 대학 김도윤 학부연구생(제1저자)과 김찬우 학부연구생(공동저자), 박찬준 지도교수 연구팀은 '자기진화형 AI 에이전트'의 새로운 보안 취약점을 찾아내고 이를 점검하는 연구 결과를 발표했다.

최근 산업계에서 주목받는 '자기진화형 AI 에이전트'는 사람처럼 과거의 일 경험을 토대로 새로운 기술이나 문제 해결법(스킬)을 스스로 만들고, 이를 저장해 뒀다가 다음 일에 다시 꺼내 쓰는 자율적인 AI 시스템이다. 사람이 일일이 가르쳐주지 않아도 일머리를 키워가는 방식이다.

하지만 연구팀은 이 진화 과정 자체에 커다란 위험이 숨어 있다는 사실을 밝혀냈다. 해커가 슬쩍 집어넣은 악의적인 명령을 AI가 정상적인 성공 경험으로 착각해 자신의 '기술 보관함(Skill Bank)'에 등록해 버리는 현상이다.

이 경우 AI는 위험한 해킹 수법을 자신이 익혀야 할 훌륭한 업무 능력으로 잘못 인식하게 된다. 이후 비슷한 상황이 오면 보관함에서 그 나쁜 기술을 다시 꺼내 반복 실행하면서 보안 울타리를 통째로 무너뜨릴 수 있다. 연구팀은 이러한 새로운 위협을 '에보스킬 인젝션(EvoSkill Injection)'이라고 이름 붙였다.

연구팀은 이 취약점을 잡아내기 위해 모의 해커 역할을 하는 다중 AI 시스템 'SARGE'를 개발했다. AI가 위험한 질문에 답하는지만 지켜보던 기존 평가와 달리, AI가 스스로 기술을 만들고, 보관함에 넣고, 다시 꺼내 쓰는 전 과정을 3단계 공격 모델을 통해 꼼꼼하게 검증하도록 한 것이다.

이번 연구는 AI와 언어처리(NLP) 분야에서 세계적인 권위를 자랑하는 국제학술대회 'EMNLP 2026' 메인 컨퍼런스에 공식 채택됐다. 일반적인 석·박사 연구진이 아니라 학부생들이 주도해 거둔 성과라는 점에서 학계의 주목을 받았다.

김도윤 학부생은 "연구 과정에서 수많은 시행착오가 있었지만 교수님과 연구실 동료들의 도움으로 완성할 수 있었다"며, "이번 연구를 발판 삼아 안심하고 믿을 수 있는 AI를 만드는 연구를 계속 이어가겠다"고 말했다.

박찬준 지도교수는 "학부생이 주도적으로 도전해 AI 에이전트 보안이라는 새로운 영역에서 세계적 수준의 연구 성과를 냈다는 점에서 뜻깊다"며, "학생들의 반짝이는 아이디어가 실제 결실로 이어지도록 계속 뒷받침하겠다"고 밝혔다.

[email protected] 김만기 기자