13개 LLM을 약 67만 회 시험한 결과, 모델들이 외부 정보의 신뢰도를 거의 구분하지 못한다는 사실이 밝혀졌다. 연구진은 '정보 분별력(information discernment)'을 3가지 규범적 공리로 정식화한 실험 프레임워크 Learn2Discern(L2D)을 제안했고, 사전등록된 사용자 연구(n=299)로 실제 사용자들이 이 공리를 지지함을 확인했다. 모델들은 출처·진실 분별 모두 우연 수준에 그쳤고, 출처의 신뢰성보다 인기도에 2배 더 의존했으며, 주장이 진실에 가까워지든 멀어지든 비슷하게 업데이트했다. 최신·대형 모델도 진실 분별만 나아질 뿐 출처 분별은 개선되지 않아, LLM이 검색을 대체해가는 상황에서 규모 확대로 해결되지 않는 정렬 사각지대임을 시사한다. 연구진은 이를 완화하는 간단한 추론 시점 개입도 제시했다.
- •정보 분별력을 3가지 규범적 공리로 정식화한 벤치마크 Learn2Discern(L2D) 제안, 13개 모델·약 67만 회 시험
- •모델들은 출처 신뢰성보다 출처 인기도에 2배 더 의존하며, 출처·진실 분별 모두 우연 수준
- •주장이 정답에 가까워지든 멀어지든 업데이트 폭이 비슷 — 진실 분별 실패
- •모델이 커지고 최신화돼도 진실 분별만 개선되고 출처 분별은 제자리
- •사전등록 사용자 연구(n=299)로 공리의 외적 타당성 확인, 간단한 추론 시점 개입으로 개선 가능성 제시
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Information Discernment in Large Language Models
- 1.LLM의 외부 정보 분별력을 측정하는 프레임워크 Learn2Discern 공개, 13개 모델 67만 시행 평가
- 2.모델들이 출처 신뢰도보다 인기도에 2배 더 의존, 출처·진실 분별 모두 우연 수준
- 3.최신·대형 모델은 진실 분별만 개선될 뿐 출처 분별은 규모로 해결되지 않는 맹점
- 4.사전등록 사용자 연구(n=299)로 규범 공리의 외적 타당성 확인, 추론 시점 개입법도 제시
왜 중요한가?
LLM이 검색을 대체해가는 시점에, 신뢰할 만한 출처를 가려내지 못하고 인기도에 휘둘린다는 대규모 실증은 검색 증강 시스템의 근본 취약점을 드러낸다. 모델 규모 확대로도 출처 분별이 개선되지 않는다는 발견은 별도의 정렬·개입 설계가 필요함을 뜻한다.
언급 프로젝트
본문 미리보기
arXiv:2607.19355v1 Announce Type: new Abstract: LLMs are increasingly used with external knowledge sources like the internet. Do they weigh information appropriately -- updating more for reliable sources (source discernment) and more when claims bring priors closer to the truth (truth discernment)? We formalize this as information discernment and introduce Learn2Discern (L2D), an experimental framework and benchmark grounded in three normative axioms with interpretable metrics. To establish ext
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:40AI 초안
