개방형 실세계 상호작용에서는 에이전트가 직접 답하거나, 되묻거나, 진행 상황을 알리거나, 실행 전 확인하는 등 여러 유효한 행동이 가능하다. 이 유연성은 그룹 기반 강화학습(RL)이 전제하는 "같은 그룹 내 롤아웃은 행동적으로 비교 가능하다"는 가정을 깨뜨려, 보상모델이 상호작용 스타일을 선호하면서 상대적 이득을 왜곡하고 맥락에 맞는 행동 대신 보상 선호 행동으로 최적화를 유도한다. 이 논문은 이를 "보상 공정성 문제"로 정식화하고, 전략 조건부 롤아웃 그룹화와 혼합 보상, 엔트로피 정규화를 결합한 학습법 ARC를 제안한다. ARC는 사용자-에이전트 상호작용을 위한 새 패러다임인 inter와 함께 연구됐으며, 실험 결과 τ/τ² 도구 사용 벤치마크 성능을 크게 높였고 inter는 최초 토큰 생성까지 시간을 사고형 베이스라인의 4.91초에서 1.27초로 단축했다.

• •상호작용 스타일이 다양해질때 그룹 기반 RL의 '비교 가능성' 가정이 깨지는 문제를 '보상 공정성 문제'로 정식화.
• •전략 조건부 롤아웃 그룹화+혼합 보상+엔트로피 정규화로 공정한 비교를 복원하는 ARC 제안.
• •사용자 보이는 소통과 잠재 추론·도구 사용을 분리하는 새로운 inter 패러다임과 86K 개 전략 주석 데이터셋 공개.
• •ARC는 τ/τ² 도구 사용 벤치마크를 크게 개선, inter는 초토큰 지연을 4.91초에서 1.27초로 단축.