숭실대 학부생 논문, 자연어처리 국제학술대회 'EMNLP 2026' 채택
김도윤 학부연구생 제1저자로 참여
자기진화형 AI 에이전트 보안 취약점 분석
[파이낸셜뉴스] 숭실대학교는 김도윤 학부연구생이 제1저자로 참여한 논문이 자연어처리(NLP) 분야 국제학술대회 'EMNLP 2026' 메인 컨퍼런스에 채택됐다고 3일 밝혔다.
자연어처리는 컴퓨터가 사람이 쓰는 언어를 이해하고 처리하도록 하는 인공지능(AI) 기술 분야다.
논문에는 김도윤 학부연구생이 제1저자, 같은 연구실 김찬우 학부연구생이 공동저자로 참여했다. 연구 주제는 스스로 새로운 기능을 만들고 개선하는 '자기진화형 AI 에이전트'에서 발생할 수 있는 보안 취약점이다.
'자기진화형 AI 에이전트'는 과거의 작업 경험을 바탕으로 새로운 기능을 만들고 이를 저장했다가 이후 작업에서 다시 활용하는 방식으로 성능을 높인다. 연구진은 이 과정에서 잘못되거나 악의적인 행동이 정상적인 경험으로 받아 들여져 하나의 기능으로 저장될 가능성을 분석했다.
한번 저장된 잘못된 기능이 이후 작업에서 반복적으로 사용될 수 있다는 것이다.
연구진은 이런 공격 방식을 'EvoSkill Injection'이라고 이름 붙이고, 관련 취약점을 점검하기 위한 'SARGE'라는 평가 방법을 제안했다.
이른바 '레드티밍(Red-Teaming)' 방식이다. 실제 공격자가 시스템을 공격한다고 가정하고 여러 공격 상황을 만들어 보면서 보안상 약점을 찾아내는 방법이다.
연구진은 AI 에이전트의 안전성을 확인할 때 사용자가 무엇을 입력하고 AI가 어떤 답을 내놓는지만 살펴 서는 부족하다고 봤다. AI가 새로운 기능을 만들고 검증한 뒤 저장하고 이후 다시 불러와 사용하는 과정까지 함께 점검해야 한다는 설명이다.
김도윤 학부연구생은 "AI 에이전트의 안전성과 보안을 주제로 연구한 결과를 EMNLP 2026에서 발표할 수 있게 돼 뜻 깊다"며 "앞으로도 신뢰할 수 있고 안전한 AI 에이전트를 만드는 연구를 이어가고 싶다"고 밝혔다.
[email protected] 이보미 기자
