BizBench 논문: 규칙까지 지킨 비즈니스 에이전트 성공률은 최고 64%

앤트 인터내셔널과 베이징 대학교 연구진의 BizBench 연구는 목표 달성뿐만 아니라 사전 승인, 지속적 자원 제약, 보호 규칙을 모두 만족해야 하는 엄격한 성공률(Strict Success) 기준에서 Claude Opus 5가 64.0%, GPT-6 Sol이 61.3%를 기록했다고 보고했습니다. 실제 비즈니스 환경에 장기 실행(Long-Horizon) 에이전트를 배포할 때 단순 최종 작업 달성 여부만 평가하는 기존 방식의 맹점을 짚고 다중 제약 조건 검증 체계를 다룬 점이 핵심입니다.

이 글은 2026년 10월 14일 공개된 논문 초판(v1)을 기준으로 합니다. 이후 개정판(v2)에서 논문 이름이 BizAgentBench로 바뀌었습니다. 정식 학술지 게재 전인 사전 공개본(Preprint)입니다.

비즈니스 에이전트 평가에서 엄격한 성공률이 필요한 이유

기존의 AI 에이전트 벤치마크는 최종 결과물이 생성되었는지를 주로 측정하는 경향이 있었습니다. 그러나 복잡한 기업 업무 환경에서는 결과를 도출하는 과정에서 사내 규정이나 예산 한도, 보안 승인 절차를 위반하면 심각한 손실이 발생할 수 있습니다.

BizBench 연구진은 목표 달성 자체뿐만 아니라 실행 과정의 규칙 준수를 함께 측정하는 엄격한 성공률(Strict Success) 기준을 제안했습니다.

• 사전 승인 및 지속적 자원 제약(P): 특정 작업을 진행하기 전 승인을 거쳐야 하거나 한정된 자원 및 예산 한도를 초과하지 않고 유지하는지 검증합니다.
• 보호 규칙(F): 시스템 및 비즈니스 데이터의 안전을 위해 사전에 설정된 보호 정책과 규칙을 위반하지 않는지 확인합니다.

BizBench 시뮬레이터 환경 구성

BizBench 연구는 비즈니스 환경의 다양성과 복잡성을 재현하기 위해 대규모 시뮬레이터 환경을 설계했습니다.

• 지식 문서: 789개
• 상시 사용 도구: 9개
• 찾아 호출할 수 있는 업무 기능: 601개
• 데이터베이스 컬렉션: 398개
• 멀티턴 실행 태스크: 50개

에이전트는 789개의 지식 문서와 398개의 데이터베이스 컬렉션을 조회하고, 상시 도구 9개를 통해 필요한 업무 기능을 찾아 호출합니다. 연구진은 50개의 멀티턴(다중 턴) 과제로 모델을 평가했습니다.

주요 모델 실험 결과

아래 수치는 논문 초판(v1)의 동일한 50개 과제에 대한 결과입니다. Claude Opus 5는 과제당 1회, GPT-6 Sol은 과제당 3회 실행했으므로 두 수치의 작은 차이를 단정적으로 해석하기는 어렵습니다.

저자들은 Qwen3.8-27B 모델의 경우 단순 목표 달성률은 42.0%를 기록했으나, 사전 승인 및 지속적 자원 제약(P)과 보호 규칙(F)을 함께 따지는 엄격한 성공률 기준에서는 32.7%로 하락했다고 보고했습니다. 이는 목표를 완수하더라도 중간 과정에서 정책이나 규칙을 위반하는 사례가 빈번함을 보여줍니다. 또한 DeepSeek-V4.1-Flash 모델은 실행당 도구 호출 횟수가 191.3회를 기록해 툴 호출 경로에서의 비효율성을 나타냈습니다.

데이터셋 공개 현황과 연구의 한계

이 연구는 실제 비즈니스 소프트웨어 제품이 아니라 시뮬레이터 기반의 벤치마크 연구입니다. 앤트 인터내셔널의 공식 개발 계정(ant-intl)을 통해 Hugging Face에 BizAgentBench라는 이름으로 50건의 멀티턴 실행 태스크 데이터가 연구 및 평가 목적으로 공개되어 있습니다.

다만 논문에는 한국 시장 특화 규제나 한국어 지원에 관한 별도 언급은 포함되어 있지 않습니다. 따라서 비즈니스 에이전트 시스템을 설계할 때는 최종 결과 생성 여부뿐 아니라 실행 경로 상의 승인 절차와 보호 규칙 준수를 체계적으로 검증하는 플래너 구조를 검토하는 관점이 요구됩니다.