자율주행차의 눈을 속였다

서울시립대 백형부 교수팀, AI 해킹 기술 '뱅크트윅' 개발
자율주행차 보안 취약점 파악해 안전한 시스템 개발 활용

[파이낸셜뉴스] 서울시립대학교 인공지능학과 백형부 교수팀이 자율주행차가 주변의 사람이나 차량 같은 객체를 정확하게 인식하지 못하도록 속이는 새로운 인공지능(AI) 해킹 기술인 '뱅크트윅'을 개발했다. 이 '뱅크트윅' 기술은 자율주행차의 보안 취약점을 파악하고, 이를 통해 더욱 안전하고 강건한 자율주행 시스템을 개발하는 데 활용될 수 있다.

15일 서울시립대에 따르면, 이 기술은 자율주행차가 보행자나 다른 차량 같은 객체를 알아보고 추적하는 '눈' 역할을 하는 AI 시스템을, 기존의 어떤 해킹 기술보다도 최대 약 12배 더 효과적으로 속였다.

마치 도술을 부려 상대방을 혼란스럽게 만들듯이, AI가 특정 객체가 누구인지, 즉 ID를 지속적으로 헷갈리게 만드는 능력이 압도적으로 강력하다는 뜻이다. 또한, 이 공격은 쉽게 탐지되지 않고, 여러 종류의 자율주행 시스템에 두루 적용될 수 있다는 점도 큰 장점이다.

백형부 교수는 "이번 연구는 '창과 방패'의 싸움에서 더 강력한 창을 제시한 것"이라며, "이를 통해 자율주행 시스템의 보안 안정성을 획기적으로 강화할 수 있는 방어 기술 연구의 중요한 방향을 제시했다는 점에서 의미가 크다"고 말했다.

연구진이 개발한 '뱅크트윅'은 객체의 고유 특징 정보가 저장되는 '특징 은행(feature bank)'을 정교하게 조작하는 새로운 공격 기법이다. 이 기술은 객체의 실제 위치는 그대로 둔 채 AI가 객체의 ID를 지속적으로 혼동하게 만든다. 공격은 단 5개의 연속된 비디오 프레임 동안 진행되는데, 먼저 '준비 단계'에서 목표 객체들의 특징 은행에 특수하게 조작된 특징 벡터들을 탐지되지 않게 주입한다. 이후 'ID 전환 단계'에서는 준비 단계에서 심어둔 특징들과 헝가리안 매칭 알고리즘의 특정 취약점을 이용해, 공격이 끝난 후에도 ID가 뒤바뀐 상태가 지속되도록 만드는 방식으로 실험했다.

이번 연구는 특징 기반 다중 객체 추적 시스템의 근본적인 취약점을 최초로 규명하고 새로운 공격 패러다임을 제시했다는 점에서 학계와 산업계의 큰 주목을 받고 있다. 기존 AI 해킹 공격이 단순히 객체를 사라지게 하거나 위치를 벗어나게 조작하는 방식이라 비교적 쉽게 방어될 수 있었던 한계를 뛰어넘은 것이다.

한편, '뱅크트윅'은 세계 최고 권위 AI 학술대회인 '인공지능 국제 공동 학술대회(IJCAI 2025)'에 채택돼 발표됨으로써 그 연구 성과의 중요성을 인정받았다.

[e-mail] 김만기 기자