Feedback That Backfires in Games: Do LLM Players Repeat the Move They Just Watched Fail?↗ (원문, 새 창)

연구팀은 LLM 에이전트의 실패한 행동을 실패 메시지와 함께 트랜스크립트에 기록해 다시 시도하게 하는 방식이, 소콜로반·커넥트 포·오셀로 같은 게임에서도 실패를 되풀이하게 만드는지 검증했다. 정답을 교란해 만든 고정 테스트 항목에서, 135M~1.7B 파라미터의 8개 지시 튜닝 모델을 종합한 결과 이 기록은 실패한 수를 더 반복하게 만들었으며, 이는 수의 표면 형태 때문에 불법 수에서는 나타났지만 패배로 이어진 합법 수에서는 나타나지 않았고 모든 모델에서 일관되지도 않았다. 탐색적 분석에서 기록 이후 실패한 수의 로그 확률은 이전 확률에 거의 의존하지 않는 것으로 나타나, 모델이 두지 않았을 수가 더 그럴듯해지고 탐욕적 디코딩이 이를 실제로 산출하기 시작했다. "같은 수를 반복하지 말라"는 지시는 효과가 없었고, 깔끔한 재시도 방식이 가장 나쁜 하네스였으며, 디코더의 금지 설정은 정확히 같은 반복은 막아도 불법적인 수 자체는 막지 못했다.

• 실패 행동을 트랜스크립트에 기록해 재시도시키는 표준 방식이 게임에서도 실패를 되풀이시킴을 확인
• 불법 수에서는 반복 유발 효과가 나타나지만 패배한 합법 수에서는 나타나지 않는 비대칭 발견
• 반복하지 말라는 명시적 지시는 효과 없고 깔끔한 재시도 방식이 가장 나쁜 성능을 보임
• OLMo 2의 DPO 학습 단계에서는 이러한 역전 현상이 대부분 제거됨을 확인