[기고] 에이전틱 AI 시대, 기업이 '레드티밍'을 준비해야 하는 이유

생성형 인공지능(AI)을 그저 '질의응답의 도구'로만 바라보던 시대는 사실상 막을 내렸다. 최근 기업들이 개발하고 도입하는 AI 서비스는 단순히 문서를 검색·요약하거나 질문에 답변하는 수준을 넘어섰다. 응용 프로그램 인터페이스(API)와 모델 콘텍스트 프로토콜(MCP)을 통해 스스로 메일을 발송하고 파일을 조회하며, 외부 시스템을 호출해 실제 업무까지 수행하는 '에이전틱 AI(Agentic AI)'로 진화하고 있다.

이처럼 AI의 활용 범위가 크게 확장되면서 보안 리스크의 양상 역시 달라지고 있다. 과거에는 그럴듯하지만 사실과 다른 정보나 존재하지 않는 출처를 만들어내는 '환각(Hallucination)' 정도가 AI 오작동의 대표적인 문제였다면, 이제는 내부 정보 유출이나 권한 오남용 등 실제 업무에 직접적인 피해를 미치는 문제로 이어질 수 있다.

이러한 변화는 기존 보안 점검 방식의 한계를 더욱 뚜렷하게 드러낸다. 특히 에이전틱 AI가 가진 자율적인 판단과 실행 능력 자체가 새로운 취약점으로 작용할 수 있다는 점에서 이전과는 다른 접근이 필요하다.

'AI 레드티밍'은 이러한 한계를 전제로 등장한 AI 시대의 새로운 보안 검증 방식이다. 기존 모의해킹이 서버나 애플리케이션의 취약점을 찾는 데 초점을 맞췄다면, AI 레드티밍은 데이터와 모델, 프롬프트, 사용자 인터페이스, 외부 연계, 에이전트 기능 등 AI 서비스를 구성하는 여러 요소를 대상으로 다양한 공격을 시도한다. 이를 통해 의도하지 않은 응답이나 행동이 발생할 가능성을 확인하고 서비스의 보안성을 검증한다.

AI 레드티밍의 목적은 AI의 활용을 제한하는 데 있지 않다. 실제 공격을 통해 AI에 허용할 행동과 허용하지 않을 행동의 경계를 확인하고, 예기치 못한 상황에서도 그 경계가 유지되는지를 검증하는 데 있다.

최근 국내에서도 AI 레드티밍에 대한 기업들의 수요가 늘면서 관련 기준과 방법론을 정립하려는 움직임이 이어지고 있다. 실제 현장에서 AI 서비스를 점검해 보면 보안 리스크는 모델 자체만 들여다봐서는 충분히 파악하기 어렵다. 데이터와 권한 체계, 외부 시스템, 업무 프로세스 등 AI와 맞물린 요소를 함께 검증해야 비로소 서비스에 내재된 실질적인 위험을 찾아낼 수 있다.

AI가 직접 업무를 수행하는 시대에는 새로운 기능을 얼마나 빠르게 도입하느냐만큼, 그 기능이 의도한 범위 안에서 안전하게 작동하도록 만드는 일이 중요해진다. AI 레드티밍은 실제 공격 상황을 가정해 이러한 경계를 확인하고, 서비스가 예상치 못한 방식으로 동작할 가능성을 사전에 점검하는 과정이다. AI가 맡는 역할과 권한이 계속 확대되는 만큼, 개발과 도입 단계뿐 아니라 운영 과정에서도 공격자 관점의 검증을 지속하는 것이 앞으로 AI 보안에서 더욱 중요한 원칙이 될 것이다.

양종헌 S2W 통합분석실장