RL 에이전트부터 파운데이션 모델 에이전트까지 다양한 유형을 공정하게 비교할 수 있는 통합 벤치마크 Agentick을 소개합니다. 6개 능력 범주, 4개 난이도 수준, 5개 관찰 모달리티에 걸친 37개의 절차적 생성 과제를 Gymnasium 호환 인터페이스로 제공합니다. 27개 구성, 9만 회 이상의 에피소드 평가 결과, GPT-5 mini가 전반적으로 0.309점으로 선두이며, 추론 하네스가 LLM 성능을 3~10배 향상시키고, ASCII 관찰이 자연어보다 일관되게 우수한 것으로 나타났습니다.

• •Agentick은 RL, LLM, VLM, 하이브리드, 인간 에이전트를 공통 기반에서 평가하는 최초의 통합 순차 의사결정 벤치마크로, 37개 절차 생성 과제와 Gymnasium 호환 인터페이스를 제공한다.
• •27개 설정, 9만 회 이상 에피소드 평가에서 어떤 단일 접근법도 지배적이지 않았으며, GPT-5 mini가 0.309 오라클 정규화 점수로 전반적 1위를, PPO가 계획·다중 에이전트 과제에서 1위를 차지했다.
• •추론 하네스가 LLM 성능을 3~10배 향상시키고, ASCII 관찰이 자연어보다 일관되게 우수하며, 능력 분해 설계 덕에 패러다임별 강약점을 정밀하게 파악할 수 있다.
• •SFT 데이터셋, 오라클 참조 정책, 조합 가능한 에이전트 하네스, 라이브 리더보드를 함께 제공하여 파운데이션 모델 RL 후훈련의 훈련 환경으로도 활용 가능하다.