LLM을 심판으로 쓰는 평가는 벤치마크 파이프라인에서 널리 쓰이며 판정이 고정 입력의 안정적 속성이라 가정한다. 이 논문은 상호작용 하에서 그 가정이 무너짐을 보인다. 연구진은 '결정 후 조작 가능성', 즉 초기 판정 후 심판과의 후속 대화로 평가 결과를 바꿀 수 있는 정도를 분석했다. MT-Bench와 AlpacaEval 통제 실험에서 LLM 심판은 반복·중립 재평가에는 매우 안정적이지만 표적화된 결정 후 도전에는 상당히 가역적이었다. 안티베이스라인 도전 프로토콜은 안정적 판정도 의도적 상호작용으로 뒤집힘을 보였고, 균형 잡힌 표적 검증 프로토콜은 이 가역성을 순 표적 유도와 분리했다. 이런 번복은 인간 선호와의 일치를 떨어뜨리고 벤치마크 순위를 바꾸며, 높은 자기 확신에도 해로운 평가 변화를 낳는다. 권위 프레이밍이 특히 불안정화하고, 수정된 판정은 겹침이 적은 근거를 동반해 신뢰할 만한 오류 수정이 아닌 사후 합리화를 시사한다. 결정 후 가역성과 방향성 효과를 결합한 평가 견고성 점수(ERS)를 제안한다.
- •LLM 심판 평가의 '판정은 고정 속성'이라는 가정이 상호작용 하에서 깨짐을 입증
- •반복·중립 재평가엔 안정적이나 표적화된 결정 후 도전에는 상당히 가역적(MT-Bench·AlpacaEval)
- •권위 프레이밍이 특히 판정을 불안정화, 수정 판정은 겹침 적은 근거로 사후 합리화 시사
- •번복이 인간 선호 일치 저하·벤치마크 순위 변동 등 실질적 해악 초래
- •결정 후 상호작용 견고성을 정량화하는 평가 견고성 점수(ERS) 제안
Stability vs. Manipulability: Evaluating Robustness Under Post-Decision Interaction in LLM Judges
- 1.LLM 판사의 안정성 평가
- 2.결정 후 상호작용의 영향
- 3.판단 조작 가능성 연구
왜 중요한가?
LLM을 평가 도구로 사용하는 방식의 근본적인 한계를 보여주며, LLM 기반 평가 시스템의 신뢰성과 공정성을 확보하기 위한 중요한 통찰을 제공합니다.
국내 AI 개발자들이 LLM 모델의 성능을 평가하고 비교하기 위해 'LLM-as-judge' 방식을 광범위하게 사용하고 있는 가운데, 이 연구는 LLM 판정의 안정성과 조작 가능성에 대한 의문을 제기합니다. 이는 한국 AI 연구 및 개발 환경에서 모델 평가의 신뢰성을 재검토하고, 보다 견고하고 공정한 벤치마크 시스템을 구축할 필요성을 시사하며 중요한 논의를 촉발할 것입니다.
본문 미리보기
arXiv:2606.05384v1 Announce Type: new Abstract: LLM-as-judge evaluation is widely used in benchmarking pipelines, where model outputs are compared and ranked using automated evaluators. These pipelines typically assume that judgments are stable properties of fixed inputs. We show that this assumption does not hold under interaction. We study post-decision manipulability: the extent to which an evaluation outcome can be altered through subsequent conversation with the judge after an initial deci
전체 내용이 궁금하다면?
원문을 직접 읽어보세요