LLM 기반 에이전트는 근거 없는 도구 호출이나 환각성 직접 응답 같은 차선의 도구 사용 결정을 내려 다단계 상호작용에서 오류를 누적하기 쉽다. 기존 접근은 주로 추론 시점 교정이나 결과·체크리스트 기반의 거친 보상에 의존해 결정의 불확실성 특성을 충분히 다루지 못했다. 저자들은 결과 중심 강화학습이 옳은 행동과 틀린 행동 사이의 불확실성 분리를 약화시켜 과신 오류와 약한 탐색 신호를 낳는다는 점을 관찰했다. 이에 불확실성 정량화를 분리를 유지하는 '척력'으로 보상 설계에 통합하고, 다중턴 궤적의 통합 후학습을 위해 경량 핵심 턴 주석을 다는 TRUST를 제안한다. 다양한 도구 사용 벤치마크에서 TRUST는 신뢰할 만한 불확실성 추정을 유지하면서 결정 품질과 에이전트 성능을 일관되게 향상시켰다.

• •결과 중심 강화학습이 올바름·틀림 행동의 불확실성 분리를 약화시켜 과신 오류를 유발
• •불확실성 정량화를 분리 유지를 위한 척력으로 보상 설계에 통합한 TRUST 제안
• •경량 핵심 턴 주석으로 다중턴 궤적의 통합 후학습 수행
• •다양한 도구 사용 벤치마크에서 결정 품질·성능 향상과 신뢰할만한 불확실성 추정을 동시 달성