삼성전자, AI 업무 생산성 측정하는 ‘트루벤치’ 공개

삼성전자가 자체 개발한 인공지능(AI) 업무 생산성 벤치마크 '트루벤치'를 공개했다. 트루벤치는 기존 영어 중심·단편 대화 위주의 AI 모델 업무 생산성 평가를 넘어 실제 문서 요약, 번역, 질의응답 등 다양한 업무 상황을 세밀하게 측정할 수 있도록 설계된 것이 특징이다.

삼성전자는 이를 통해 글로벌 기업들의 AI 활용 수준을 가늠할 새로운 기준을 제시한다는 계획이다.

특히 노태문 삼성전자 디바이스경험(DX)부문장 사장이 최근 유럽 최대 가전 전시회 IFA 2025에서 "전 업무 영역의 90%에 AI를 적용해 AI가 현장에서 판단하고 결정할 수 있도록 하겠다"고 강조한 만큼, AI 업무 생산성 평가에 집중하는 행보로 풀이된다.

25일 업계에 따르면 삼성전자 '트루벤치'는 삼성전자 DX부문 선행 연구개발조직인 삼성리서치가 사내 생성형 AI 모델 적용 경험을 바탕으로 개발한 벤치마크로 AI 모델의 업무 생산성 성능을 평가한다. 삼성전자는 많은 기업들이 업무 전반에 AI를 도입하고 있지만, 기존 벤치마크로는 AI 모델의 업무 생산성 성능을 정확히 측정하기 어렵다는 점에 주목했다. 실제 시중에 공개돼 있는 대부분의 AI 벤치마크는 영어를 중심으로, 연속 대화가 아닌 한번 혹은 제한된 횟수로 대화를 평가하고 있다.

이번에 삼성전자가 공개한 '트루벤치'의 평가 항목은 10개 카테고리, 46개 업무, 2485개의 세분화된 항목으로 구성돼 있다.

이에 사용자의 짧은 요청부터 최대 2만자의 긴 문서 요약까지 실제 업무 상황을 폭넓게 평가하게 된다.

평가 결과도 기존 벤치마크와 차별화했다. 사용자는 한 번에 최대 5개 모델을 비교할 수 있어 다양한 AI 모델의 성능을 한눈에 파악할 수 있다.

[e-mail] 임수빈 기자