"AI 데이터 수집 시장 급성장…비디오 데이터가 LLM 성능 가른다"

AI 데이터 확보 경쟁이 과거 석유 패권 경쟁에 비견될 만큼 치열해지는 가운데, 특히 영상(비디오) 기반 학습 데이터의 중요성이 빠르게 부각되고 있다. 데이터를 '캐내는' 기술과 이를 '막으려는' 기술이 동시에 고도화되면서 데이터 경제의 명과 암도 선명하게 갈리고 있다.

거대언어모델(LLM)과 멀티모달 AI의 성능이 학습 데이터의 규모와 품질에 직결되면서, 글로벌 AI 데이터 시장에서 가장 주목받는 기업 중 하나로 브라이트 데이터(Bright Data)가 부상했다. 이 회사는 AI 훈련에 최적화된 동영상 데이터 파이프라인을 포함한 페타바이트급 웹 데이터 인프라를 구축해 하루 2.5PB(페타바이트) 규모의 신규 AI 데이터를 처리한다.

기술적 난제로 꼽히던 차단 시스템 우회도 AI로 해결했다. 기존 오픈소스 도구들은 속도 제한·IP 차단·캡차(CAPTCHA)·오류 응답 등의 장벽에 막혀 대규모 수집에 한계가 있었다. 브라이트 데이터는 1억 5,000만 개의 글로벌 IP 풀과 AI 기반 브라우저 지문 인식 기술 '웹 언로커(Web Unlocker)'를 결합해 이 장벽을 돌파했다.

법적 정당성도 확보했다. 2024년 브라이트 데이터는 메타(Meta)·X(구 트위터)와의 소송에서 연이어 승소했다. 법원은 공개된 웹 데이터 수집 자체가 저작권 침해나 서비스 이용 약관 위반에 해당하지 않는다고 판단했으며, 유럽 개인정보보호법(GDPR)과 캘리포니아 소비자 프라이버시법(CCPA) 준수 범위 내 AI 데이터 추출은 정당한 기업 활동으로 인정받았다.

그러나 같은 기술적 토대가 범죄에 악용될 때의 결과는 참혹하다. 2026년 1월, 해커 포럼 브리치포럼(BreachForums)에 인스타그램 이용자 약 1,750만 명의 개인정보 데이터베이스가 무료로 공개됐다. 보안 업체 멀웨어바이츠(Malwarebytes)가 정기 다크웹 모니터링 과정에서 발견해 공개한 이 데이터는 이름·이메일 주소·전화번호·실제 거주지 주소 등 민감한 정보를 담고 있었다.

원인은 2024년 인스타그램 API 설정 오류로 추정된다. 당시 잘못 구성된 API를 통해 자동화된 방식으로 대량의 이용자 정보가 수집됐고, 이 데이터가 시간이 지나 암시장에 재등장했다는 분석이다. 메타는 "시스템 침해는 없었다"고 해명했으나 논란은 이어졌다. 보안 전문가들은 유출 데이터가 보이스피싱·계정 탈취·스미싱 등 2차 범죄에 즉각 활용될 수 있다고 경고하며 2단계 인증 설정을 촉구했다.

이 사고는 합법적 스크래핑과 비인가 스크래핑 사이의 기술적 경계가 얼마나 모호한지를 단적으로 보여준다. '뚫는 AI'와 '막는 AI'가 같은 기술적 토대 위에 서 있다는 현실이 산업계에 새로운 과제를 던지고 있다.

방어 측도 AI로 맞선다. 국내 보안 기업 에버스핀이 개발한 '에버세이프 웹(EverSafe Web)'은 2025년 12월 국가정보원 보안기능확인서를 취득하며 공공·금융 시장의 주목을 받았다. 핵심 기술은 AI 기반 '이동표적방어(MTD, Moving Target Defense)'다. 웹 페이지의 보안 구조를 실시간으로 변화시켜 공격자가 분석할 틈을 원천 차단하는 방식으로, 자동화된 스크래핑과 크레덴셜 스터핑(Credential Stuffing·유출된 계정 정보를 대량 대입해 탈취 시도하는 공격) 모두를 무력화한다. 국정원 인증으로 공공기관과 금융권은 별도 검증 없이 즉시 도입할 수 있게 됐다.

수집된 AI 데이터는 소비자 의사결정을 직접 바꾼다. 중고차 거래 플랫폼 엔카는 수만 건의 매물 데이터를 분석해 월별 시세 지수를 산출한다. 2026년 1월에는 연식 변경 영향으로 국산 SUV·수입 세단 시세가 전월 대비 평균 0.71% 하락했고, 쉐보레 트랙스 크로스오버는 4.73% 급락하며 구매 적기를 형성했다. 반면 2월에는 전기차 보조금 확정 이후 현대 아이오닉5(2.65%↑)·기아 EV6(2.68%↑) 등 중고 전기차 시세가 반등하는 이례적 흐름이 나타났다. 빅데이터 분석이 시장의 불확실성을 해소하는 실질적 도구로 기능하고 있음을 보여주는 사례다.

AI 데이터는 기업 경쟁력의 핵심 자원이 됐다. 그러나 인스타그램 사고가 입증하듯, 보안이 뒷받침되지 않은 수집은 재앙을 부른다. 앞으로의 데이터 경제는 얼마나 많이 추출하느냐보다, 얼마나 윤리적·안전하게 관리하고 활용하느냐로 승부가 갈릴 것이다. 기술 혁신·보안 강화·법제 정비라는 세 축이 균형을 이룰 때, AI 데이터는 비로소 인류의 진보를 이끄는 '신(新) 원유'로서 제 역할을 다할 수 있다.

[email protected] 이대율기자