네스토리, 'BotfenderAI' 실시간 데이터 스크래핑·크롤링 탐지 기술 선봬

네스토리 제공

(서울=뉴스1) 장도민 기자 = 네스토리는 데이터 스크래핑 및 크롤링 공격을 실시간으로 탐지하고 방어하는 보안 솔루션 'BotfenderAI'를 선보였다고 16일 밝혔다.

이 시스템은 자동화된 스크래핑 및 크롤링 시도를 즉각적으로 식별하며, 민감한 데이터를 보호하고 웹 서비스의 품질을 유지하도록 설계했다.

BotfenderAI는 API 호출 빈도, 요청 간 시간 간격, User-Agent, IP 주소 등을 종합적으로 분석하여 비정상적인 트래픽을 실시간으로 감지한다.

이러한 탐지 기능은 데이터 스크래핑 도구가 생성하는 과도한 요청을 빠르게 식별하고 차단함으로써 웹 서비스의 안정성과 신뢰성을 유지한다.

BotfenderAI는 사용자 행동 분석(UBA) 기술을 통해 실제 사용자와 스크래핑 도구를 정교하게 구분한다. 비정상 트래픽이 감지될 경우 즉시 캡차 인증을 요구하거나 접속을 차단하는 방식으로 자동화된 공격을 효과적으로 방어한다.

이 솔루션은 HTML 구조 분석과 크롤링 도구의 시그니처를 실시간으로 탐지하여 악성 크롤링 시도를 차단한다. 또한, 크롤링 공격의 시도와 방어 결과를 상세 리포트 형태로 제공해 기업이 보안 상태를 명확히 파악하고 즉각적으로 대응할 수 있도록 지원한다.

또한 IP 회전, User-Agent 변조 등 고도화된 크롤링 도구들의 회피 기법도 BotfenderAI의 탐지 범위에 포함된다. 동작 기반 인증 강화와 IP/Geolocation 기반 탐지 기술을 결합하여 더욱 정교하고 다층적인 방어 체계를 구현한다.

비정상 트래픽이 발생하면 동적 캡차 또는 Rate Limiting 기능을 적용해 크롤링 시도를 어렵게 만든다.

또한, 크롤링 도구의 SSL/TLS 시그니처를 분석해 HTTPS 트래픽에서도 데이터 스크래핑 및 크롤링 시도를 효과적으로 차단할 수 있다.

네스토리 관계자는 "BotfenderAI는 데이터 스크래핑, 크롤링뿐만 아니라 스팸, 트랜잭션 봇과 같은 다양한 위협에도 즉각적으로 대응할 수 있는 강력한 방어막"이라며 "이 솔루션은 봇 프로그램 악용 문제를 근본적으로 해결하고, 웹 서비스를 안정적으로 유지하는 데 기여할 것"이라고 말했다.

이어 "BotfenderAI는 데이터 보안 분야의 새로운 표준을 제시하며, 기업이 민감 데이터를 안전하게 보호하고 무단 데이터 수집으로 인한 문제를 효과적으로 해결할 수 있도록 돕는다"고 강조했다.