TurnOPD는 장기(long-horizon) 에이전트 학습을 위한 온폴리시 증류(OPD)를 턴 단위로 예산화해 효율을 높이는 기법이다. 기존 OPD는 후반 턴의 약한 KL 신호에 롤아웃 자원을 낭비하고, 손실이 얕은 토큰에 집중돼 깊은 결정 턴이 덜 학습되는 문제가 있었다. 이를 프로브 기반 통계로 롤아웃 길이를 조절하는 적응형 깊이 예산과, 토큰 수준에서 턴 균형 KL 가중치로 점진 전환하는 손실 예산 두 가지 컨트롤러로 해결했다. ALFWorld, WebShop, Multi-Hop Search 실험에서 동일한 학습 시간 예산 대비 더 높은 검증 정확도를 달성했다. 장기 에이전트 증류 학습의 시간-정확도 프런티어를 실질적으로 개선했다는 점에서 에이전트 학습 비용 절감에 의미가 있다.

• •온폴리시 증류(OPD)를 장기 에이전트 과제에 적용할 때의 두 가지 비효율(후반 턴 롤아웃 낭비, 얕은 토큰 위주 KL 손실 집중)을 규명
• •프로브 기반 턴 통계로 롤아웃 길이를 결정하는 적응형 롤아웃 깊이 예산 컨트롤러 도입
• •KL 가중치를 토큰 수준에서 턴 균형 감독으로 점진 전환하는 턴 정규화 손실 예산 적용
• •ALFWorld, WebShop, Multi-Hop Search에서 동일 wall-clock 예산 대비 기존 OPD보다 높은 검증 정확도 달성