"토큰 비용 28% 감소" AWS, '스트랜즈 하네스' 공개

[파이낸셜뉴스] 아마존웹서비스(AWS)가 오픈소스 인공지능(AI) 에이전트 '스트랜즈 하네스'를 공개했다. AI 에이전트를 실행하는 데 필요한 구성 요소를 하나로 조립해 둔 '실행 환경'이다.

23일 업계에 따르면 그동안 개발자들은 클로드 코드나 코덱스 같은 기존 도구가 손대지 않아도 잘 작동하는 경험을 제공한다는 점을 높이 평가해 왔다. 그러나 직접 에이전트를 만들려고 하면, 여러 기본 요소를 일일이 알맞게 연결해야 해 그 매끄러운 경험을 재현하기가 쉽지 않았다. 스트랜즈 하네스는 이 과정을 미리 조립해 제공함으로써, 개발자가 자신이 선택한 AI 모델과 코드 한 줄로 바로 에이전트를 구동할 수 있도록 했다. 특정 코딩 작업에 한정된 도구가 아니라, 다양한 업무에 두루 쓸 수 있는 범용 에이전트를 목표로 설계됐다.

AWS 자체 테스트에 따르면, 동일한 클로드 또는 GPT 모델을 사용했을 때 스트랜즈 하네스는 6개 벤치마크 전반에서 토큰 비용을 평균 28% 절감했다. 정확도는 클로드 코드, 코덱스 등 널리 쓰이는 기존 도구와 동등하거나 더 높은 수준을 유지했다. 특히 '페이블 5' 모델을 사용한 시험에서는 클로드 코드보다 비용이 77% 낮았고, '터미널 벤치 2.1' 점수는 더 높았다. 해당 테스트는 아마존 EC2 상의 분산 환경에서 하버 도구를 이용해 진행됐으며, 상세 결과는 후속 논문으로 공개될 예정이다.

이러한 토큰 효율의 상당 부분은 모델이 한 번에 기억하고 참고하는 정보의 범위를 나타내는 컨텍스트를 관리하는 '컨텍스트 관리' 기본 설정에서 비롯됐다. 스트랜즈 하네스는 도구 실행 결과가 약 1500토큰을 넘으면 자동으로 요약·축약하고 기억할 수 있는 정보 범위가 85%를 넘어서면 대화 내용을 자동 요약한다. 정보가 넘칠 경우 실행 도중 자동으로 복구하는 기능을 기본 제공한다. 또 반복되는 요청 내용을 저장해 재사용하는 '프롬프트 캐싱'을 적용해 처리 시간과 비용을 함께 줄인다.

스트랜즈 하네스는 아마존 베드록, 앤스로픽, 오픈A, 구글의 최신 모델은 물론, 로컬에서 구동되는 올라마 모델과도 연동된다. 개발자는 원하는 모델을 이름으로 지정하기만 하면 된다. 기본 제공 에이전트는 셸(명령어 실행), 파일 읽기·쓰기·편집, 웹 검색 등 모델이 이미 다룰 줄 아는 기본 도구를 탑재하고 방대한 실행 결과는 파일로 옮기고 반복 요청은 캐싱해 스스로 정보 범위를 관리한다. 여러 작업 세션에 걸쳐 장기 기억을 유지하고, 세션 ID를 입력하면 이전 대화를 이어간다. 또 복잡한 작업은 내장된 보조 에이전트에 위임하고, 여러 단계에 걸친 작업은 체크리스트로 관리한다.

스트랜즈 하네스는 리눅스 컨테이너를 지원하는 모든 환경에 배포할 수 있다.

[email protected] 장민권 기자