답변 시점에 유지되는 추론 트레이스는 정확도를 높일 수도 있지만, 현재 증거와 상충할 때는 그 증거와 경쟁하는 역할도 한다. 연구팀은 검증된 증거 버전과 그로부터 생성된 트레이스를 교차시켜, 같은 트레이스·증거로 모델이 스스로 사고를 이어가는 '연속' 방식과 별도 호출로 답하는 '분리 호출' 방식을 비교했다. gpt-oss, Gemma4, Qwen3 세 모델군을 HotpotQA·MuSiQue에서 평가한 결과 분리 호출이 연속 방식보다 증거 추종도를 29.9~60.6점 높였으며, 같은 조건에서 트레이스를 제거하면 두 방식 모두 비슷하게 정확도가 떨어졌다. 즉 트레이스로부터 이득을 보는 것과 트레이스에 얽매이는 것은 서로 다른 속성이며, 트레이스의 마지막 줄이 가치의 대부분을 담고 금 증거는 트레이스 작성 전에 가장 도움이 되는 등 세부 분석도 제시했다.
- •추론 트레이스가 정확도를 높이는 효과와 낡은 결론에 집착하게 만드는 효과를 분리해 분석
- •같은 사고를 잇는 '연속' 방식 대비 '분리 호출' 방식이 증거 추종도를 29.9~60.6점 향상
- •트레이스 제거 시 두 방식 모두 비슷하게 정확도 하락, 트레이스 이득과 의존은 별개 속성임을 확인
- •트레이스의 마지막 줄이 가치의 대부분을 차지, 금 증거는 트레이스 작성 전에 가장 유용
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
When Reasoning Traces Conflict with Evidence: How Answer Configuration Shapes Evidence Following
- 1.추론 트레이스를 유지한 채 답을 잇는 방식과 트레이스를 넘겨 별도로 답하는 방식의 증거 추종 성향 비교
- 2.HotpotQA·MuSiQue서 '별도 호출'이 '이어쓰기'보다 증거추종 29.9~60.6점 더 높음(3개 모델군)
- 3.트레이스를 제거하면 두 방식 모두 정확도가 비슷하게 하락, 트레이스 혜택과 과의존은 별개 속성임을 입증
- 4.트레이스 마지막 줄이 가치 대부분을 차지, '재추론'은 검증 지시 없이도 최신 증거를 더 잘 따름
왜 중요한가?
같은 추론 트레이스라도 답변 생성 방식(이어쓰기 vs 별도 호출)에 따라 최신 증거 반영도가 크게 달라짐을 보여, 트레이스 제거만으로는 모델의 증거 추종력을 제대로 측정할 수 없음을 시사한다.
본문 미리보기
arXiv:2610.20805v1 Announce Type: new Abstract: A reasoning trace retained at answer time plays two roles: it can raise accuracy, and it can compete with the current evidence when the two disagree. We disentangle these roles by crossing verified evidence versions with the traces generated from each and answering from the same traces and evidence under two configurations: continuation of the model's own thinking and a separate answer call. Across three model families (gpt-oss, Gemma4, Qwen3) on
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안