멀티에이전트 수학 추론에서 리뷰어의 정밀도가 높아도 비판이 실제 답 수정으로 이어지지 않으면 성능이 오르지 않는다는 사실이 4,181개 Omni-MATH 문제 실험으로 입증됐다. gpt-oss-120b 기반 비교에서 협업 이득은 쉬운 문제에선 미미하다가 난이도 4티어부터 급격히 커졌는데, 이 구간에서 브로드캐스트형 동료 토론이 계획자-실행자-리뷰어(PER) 파이프라인보다 최종 정확도가 높았다. PER 리뷰어의 정밀도(0.861)가 브로드캐스트(0.644)보다 높은데도 유용한 비판이 다음 답안을 바꿀 확률은 훨씬 낮아, 오류 탐지 품질과 비판 수용(uptake)이 실증적으로 분리됨을 보였다. 명시적 인정 강제는 오히려 정확도를 낮췄고, 리뷰어 지침을 솔버의 작업 맥락에 직접 삽입하면 부분 개선에 그쳤다. 리뷰어 중심 평가가 시스템 품질을 과대평가할 수 있다는 경고다.
- •4,181개 검증기 기반 Omni-MATH 문제로 계층형 리뷰 구조의 실효성 검증
- •난이도 4티어 이상에서 브로드쯐스트 토론이 PER 파이프라인보다 높은 최종 정확도
- •PER 리뷰어 정밀도 0.861 > 브로드쯐스트 0.644이지만 비판 수용률은 역전
- •오류 탐지 품질과 비판 수용은 분리된 별개 속성임을 실증
- •명시적 인정 강제는 정확도를 오히려 하락시킴
Precise but Uncoupled: Reviewer Precision Does Not Guarantee Critique Uptake in Multi-Agent Math Reasoning
- 1.4181개 Omni-MATH 문제 실험으로 리뷰어 정밀도와 비평 수용(uptake)이 별개임을 실증
- 2.난이도 4티어부터 협업 이득 급증, 브로드캐스트 토론이 PER 파이프라인보다 최종 정확도 우위
- 3.PER 리뷰어 정밀도가 0.861로 더 높지만(0.644 대비) 비평이 다음 답을 바꾸는 비율은 낮음
- 4.명시적 인정 강제는 정확도를 낮추고, 리뷰 지침을 솔버 작업 문맥에 심으면 부분 개선
왜 중요한가?
리뷰어 역할만 정교하게 만들면 멀티에이전트 성능이 오른다는 가정을 뒤집는 결과로, 오류를 잘 찾아도 다음 후보에 반영되지 않으면 무의미하다는 점에서 리뷰어 중심 평가의 맹점을 드러낸다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2607.15388v1 Announce Type: new Abstract: Many math- and science-oriented agent systems use hierarchical designs with specialized reviewer roles, assuming that a dedicated review stage should help turn wrong candidates into correct ones. We test this assumption on 4,181 verifier-grounded Omni-MATH problems using matched gpt-oss-120b actors. Collaboration adds little on the easiest tiers, but from tier 4 onward the gains open sharply; in this harder regime, broadcast-style peer discussion
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
