Information Discernment in Large Language Models
- 1.LLM의 외부 정보 분별력을 측정하는 프레임워크 Learn2Discern 공개, 13개 모델 67만 시행 평가
- 2.모델들이 출처 신뢰도보다 인기도에 2배 더 의존, 출처·진실 분별 모두 우연 수준
- 3.최신·대형 모델은 진실 분별만 개선될 뿐 출처 분별은 규모로 해결되지 않는 맹점
- 4.사전등록 사용자 연구(n=299)로 규범 공리의 외적 타당성 확인, 추론 시점 개입법도 제시
왜 중요한가?
LLM이 검색을 대체해가는 시점에, 신뢰할 만한 출처를 가려내지 못하고 인기도에 휘둘린다는 대규모 실증은 검색 증강 시스템의 근본 취약점을 드러낸다. 모델 규모 확대로도 출처 분별이 개선되지 않는다는 발견은 별도의 정렬·개입 설계가 필요함을 뜻한다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2607.19355v1 Announce Type: new Abstract: LLMs are increasingly used with external knowledge sources like the internet. Do they weigh information appropriately -- updating more for reliable sources (source discernment) and more when claims bring priors closer to the truth (truth discernment)? We formalize this as information discernment and introduce Learn2Discern (L2D), an experimental framework and benchmark grounded in three normative axioms with interpretable metrics. To establish ext
전체 내용이 궁금하다면?
원문을 직접 읽어보세요