검색·증강 맥락에서 LLM을 생성할 때 외부 맥락과 모델 내부 지식이 충돌하는 신뢰성 문제를, 맥락을 일방적으로 증폭하던 기존 '맥락 인지' 대조 디코딩을 넘어 '충돌 인지' 패러다임으로 일반화했다. 사전 지식과 맥락 로짓의 아핀 결합이 본질적 비대칭을 갖는 거듭제곱 계열을 이룸을 보였다: 외삽은 사전 지식이 옳을 때 오류를 무한 증폭하고, 내삽은 맥락이 옳을 때 과소교정하며, 어떤 정적 방식도 둘 다 못 덮는다. 모델별 사전 지식을 보정해 교정·저항·동의 세 충돌 상태를 측정하는 TriState-Bench를 제안하고, 단계마다 방식을 라우팅하는 Adaptive Regime Routing(ARR)으로 저항 EM을 6 미만에서 16~33으로 끌어올렸다.
- •맥락을 일방적 증폭하는 기존 대조 디코딩을 '충돌 인지' 패러다임으로 일반화
- •사전 지식·맥락 로진의 아핀 결합이 외삽·내삽 간 구조적 비대칭을 가짐
- •교정·저항·동의 세 충돌 상태를 측정하는 TriState-Bench 제안
- •단계별 방식 라우팅 ARR로 저항 EM을 6 미만에서 16~33으로 향상
- •교정·동의 성능 희생 없이 저항 성능만 선택적 개선
From Context-Aware to Conflict-Aware: Generalizing Contrastive Decoding for Knowledge Conflict in LLMs
- 1.컨텍스트를 일방적으로 증폭하는 기존 대조 디코딩을 충돌인식 패러다임으로 일반화
- 2.사전·컨텍스트 로짓의 아핀 결합이 체제 비대칭을 갖는 power family임을 규명
- 3.TriState-Bench로 교정·저항·동의 3가지 충돌 상태를 모델별 평가
- 4.ARR 적응적 체제 라우팅으로 저항 EM을 6 미만에서 16~33으로 향상
왜 중요한가?
RAG 등에서 외부 컨텍스트가 틀렸을 때도 무조건 컨텍스트를 우선해 옳은 사전지식을 덮어쓰던 문제를, 충돌 신호에 따라 사전지식과 컨텍스트에 권한을 동적 배분해 신뢰성 병목을 완화한다는 점에서 실용적이다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2606.10298v1 Announce Type: new Abstract: When large language models generate from retrieved or augmented contexts, conflicts between external context and parametric priors remain a central reliability bottleneck. Existing contrastive decoding methods follow a \emph{context-aware} paradigm that unilaterally amplifies context over parametric priors, overwriting correct priors when the context is erroneous. We generalize this to the \textbf{conflict-aware} paradigm that dynamically allocate
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
