초안 작성-검증-수정(Draft-Verify-Revise) 파이프라인에서 "이전"과 같은 맥락 의존 표현이 단계별로 다르게 해석되는 '직시적 이동' 문제를 세 개 공급사의 모델 6종, 21가지 추론 노력 설정으로 검증했다. 균형 정확도는 우연 수준 이하인 0.156부터 거의 완벽까지 편차가 컸는데, GPT-5.2는 추론 없이 0.156이었다가 최고 추론 노력에서 0.942까지 상승했고, Gemini 3 Pro는 모든 단계에서 0.94 이상을 유지하며 낮은 추론 노력으로도 GPT-5.2의 xhigh 설정을 비용 대비 능가했다. 메타 평가자가 오판할 때는 표면적 신호에 의존하는 경향이 있었다. 연구진은 초안-검증-수정 파이프라인 설계 시 각 단계에서 지시 대상을 명시적으로 밝혀야 한다고 제언한다.
- •초안-검증-수정 파이프라인에서 단계별로 '이전' 같은 표현의 지시 대상이 달라지는 '직시적 이동' 문제 규명
- •3개 공급사 모델 6종을 21가지 추론 노력 설정으로 테스트
- •GPT-5.2는 추론 없이 0.156에서 최고 추론 노력 시 0.942로 급상승
- •Gemini 3 Pro는 낮은 추론 노력에서도 0.94 이상 유지하며 GPT-5.2 xhigh 설정을 비용 대비 능가
- •메타 평가자의 오판은 표면적 신호 의존에서 주로 발생, 각 단계에서 지시 대상 명시화 필요성 제언
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Can LLMs in Draft-Verify-Revise Pipelines Resolve Deictic Ambiguity?
- 1.초안-검증-수정 LLM 파이프라인에서 지시어 대상이 단계마다 바뀌는 '직시적 전환' 현상을 실증 연구
- 2.3개 제공사 6개 모델을 21가지 추론 강도로 테스트, e-value 기반 순차 검정 적용
- 3.GPT-5.2는 추론 없이 0.156(우연 이하)였다가 최고 추론 강도에서 0.942까지 상승
- 4.Gemini 3 Pro는 모든 강도에서 0.94 이상 유지, 저강도로도 GPT-5.2 최고강도 대비 5% 비용에 더 높은 점수 기록
왜 중요한가?
여러 LLM을 이어붙이는 오케스트레이션에서 지시어 해석이 단계별로 어긋나는 구체적 실패 모드를 드러내, 컨텍스트 엔지니어링 시 지시대상을 명시해야 한다는 실무적 교훈을 제공한다.
언급 프로젝트
본문 미리보기
arXiv:2609.12162v1 Announce Type: new Abstract: Draft-verify-revise is a common LLM orchestration pattern for scaling inference-time compute. One LLM drafts, a second critiques the draft and provides feedback, and a third uses that feedback to revise the draft into the final output. As context cascades between stages, LLMs at different stages can resolve a context-dependent expression such as "previous" differently. When that happens, the expression undergoes a deictic shift, a change in what i
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

