ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model↗ (원문, 새 창)

IBM 리서치가 학습 가능한 가이드라인을 시스템 프롬프트에 추가하는 'ALTK-Evolve' 기법을 공개하고, 가중치 변경 없이 GPT-4.1 기반 고객서비스 에이전트를 τ²-bench 리테일 1위(Pass^4 67.5%)로 끌어올렸다고 밝혔다. 에이전트 스스로의 학습 과제 궤적에서 성공·실패 패턴을 추출해 짧은 행동 규칙으로 만들고 동일 모델의 프롬프트에 그대로 추가하는 방식이다. 항공 도메인에서는 GPT-5.5를 사용했을 때 정확도와 Pass^4가 각각 10%포인트, 15%포인트 올라 프런티어 모델 중 1위를 기록했다. 연구진은 지원 횟수 기준을 도메인별로 조정하는 것이 중요하다고 설명했다.

• GPT-4.1에 학습된 가이드라인 292개(lossless)를 추가해 τ²-bench 리테일 Pass^4를 67.5%로 올려 1위를 차지했다.
• RAFT-30B-A3B라는 파인튜닝된 모델(61.4%)을 가중치 변경 없이 6.1%포인트 앞섰다.
• GPT-5.5로 재실험한 항공 도메인에서는 Pass^4가 55%에서 70%로 15%포인트 상승했다.
• 가이드라인 적용 시 대화 턴 수는 줄었지만 입력 토큰 증가로 대화당 비용은 최대 65% 늘었다.