StoreBench는 LLM 에이전트가 실제 상거래 백엔드에서 중간 규모 온라인 의류 매장을 운영하며 장기 계획과 경제적 판단력을 테스트하는 라이브 커머스 환경이다. 고객 주문, 공급업체 가격 변동·실패, 시장 충격이 예고 없이 발생하는 가운데 에이전트는 사람이 쓰는 것과 동일한 29개 상인 도구로 대응해야 한다. 7개 프론티어 LLM을 11개 시나리오에서 평가한 결과, 최고 모델 DeepSeek-V4-Pro도 스크립트 기반 휴리스틱 정책의 97% 통과율에 크게 못 미치는 49%에 그쳤고, 인간 전문가(평균 0.708)가 모든 모델(최고 0.700)을 앞섰다. 다만 Qwen3.5-27B를 5개 과제로 GRPO 후훈련시키자 held-out 과제 평균 점수가 0.136에서 0.373으로 뛰어, 적은 데이터로도 상업 운영 능력을 끌어올릴 여지가 있음을 보였다.

• •29개 상인 도구로 실제 상거래 백엔드를 운영하는 라이브 커머스 에이전트 벤치마크 StoreBench 공개
• •최고 모델 DeepSeek-V4-Pro도 과제-시드 조합 통과율 49%로 스크립트 휴리스틱(97%)에 못 미침
• •인간 전문가 평균 복합점수 0.708이 전체 모델 최고치 0.700을 앞섬
• •Qwen3.5-27B를 5개 과제로 GRPO 후훈련하자 held-out 평균 점수가 0.136→0.373로 상승
• •평가 환경과 채점 도구 일부만 공개, 전체 환경은 벤치마크 오염 방지를 위해 비공개