세션 도중 신뢰할 수 있는 도구가 몰래 바뀌면 LLM 에이전트의 도구 선택이 어떻게 되는지를 인지심리학의 'set-shifting' 개념으로 측정한 벤치마크 연구다. 같은 과제를 푸는 도구들이 숨겨진 신뢰도만 다르게 중복 배치된 라이브러리에서, 신뢰 도구 그룹을 숨겨진 경계마다 바꾸고 무변화 대조군과 비교한다. 에이전트들은 경계 후 몇 턴 만에 소수의 반복 루틴에 안착했고, 호출 비중이 몇 개의 이산값에 집중되는 경향을 보였다. 시프트 후 구간마다 목표 도구 그룹으로 라우팅할 결합 확률로 set-shifting 정확도를 채점했으며, 오픈웨이트 LLM들이 같은 루틴에서도 질적으로 다른 실패 양상을 보였다. 도구를 경쟁 관계로 제시하느냐 보완 관계로 제시하느냐에 따라 라우팅 역학이 달라진다는 점은 에이전트 도구 설계에 실질적 시사점을 준다.

• •도구 신뢰도가 세션 중 몰래 바뀌는 상황에 대한 에이전트 적응력을 인지심리학의 set-shifting으로 평가하는 벤치마크 제안
• •같은 과제를 푸는 중복 도구들에 숨겨진 신뢰도 차이를 부여하고, 분기 스케줄로 신뢰 그룹을 전환하며 무변화 대조군과 비교
• •에이전트는 전환 경계 후 몇 턴 내에 소수의 고정 루틴에 안착하고 호출 비중이 이산값에 집중
• •시프트 후 구간마다 목표 도구 그룹으로 라우팅할 결합 확률로 set-shifting 정확도 채점, 모델별로 질적으로 다른 실패 모드 확인
• •도구를 경쟁 vs 보완으로 제시하는 프레이밍이 라우팅 역학을 바꿈