생성형 AI가 유창한 글을 저렴하게 만들어내면서 독자는 유창함을 진실의 대리 지표로 신뢰할 수 없게 됐다. 연구진은 사용자가 유창한 환각을 신뢰하는 동시에 정확한 내용도 AI 생성으로 밝혀지면 신뢰도를 깎는 현상을 '유창성 함정(Fluency Trap)'으로 명명했다. 'AI로 제작됨'이라는 이진 라벨은 저작권 공개는 하지만 주장을 뒷받침하는 근거는 보여주지 못한다. 이에 텍스트 내 검증된 주장의 밀도를 시각화하는 인터페이스인 프로버넌스 밀도(Provenance Density)를 제안했다. 81명 참가자 대상 사용자 연구에서 이상적인 인터페이스는 진실과 조작을 구분하는 능력을 크게 향상시켰지만(+4.15점, d=1.82), 아무 신호가 없을 때는 구분 능력이 감지되지 않았다. 동적 질의에서는 검색 밀도보다 '일관성 거부권'이 판별 신호의 대부분을 차지한다는 예상 밖 결과가 나왔다.
- •유창한 AI 글을 신뢰하면서도 AI 생성으로 밝혀지면 정확한 내용조차 신뢰를 깜는 '유창성 함정' 현상을 정의
- •텍스트 내 검증된 주장의 밀도를 보여주는 시각화 인터페이스 '프로버넌스 밀도' 제안
- •81명 사용자 연구에서 이상적 인터페이스가 진실-조작 구분 능력을 유의미하게 향상(+4.15점, d=1.82)
- •아무 신호 없을 때는 참가자가 진실과 조작을 구분하지 못함을 확인
- •동적 질의에서는 검색 밀도보다 '일관성 거부권'이 판별 신호의 대부분을 차지한다는 예상 밖 발견
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Beyond "Made with AI": Visualizing Provenance Density to Mitigate the Transparency Penalty
- 1.생성 AI로 매끄럽게 글이 저렴해지며 유창함이 진실의 지표가 되지 못하는 'Fluency Trap' 문제 제기
- 2.이진법적 'Made with AI' 라벨 대신, 텍스트 내 검증된 주장의 밀도를 보여주는 Provenance Density 인터페이스 제안
- 3.81명 대상 사용자 연구에서 참과 거짓 구별력이 +4.15점(d=1.82) 향상, 신호 없을 때는 구별 불가
- 4.200개 샘플 기술 감사 결과 검색 밀도만으로는 부족, Consistency Veto가 판별력의 대부분을 차지
왜 중요한가?
AI 생성물 투명성 논의가 단순 저작권 표시를 넘어 '무엇이 근거가 되는지'를 보여주는 증거 시각화로 옮겨가야 함을 실증 데이터로 뒷받침한다.
본문 미리보기
arXiv:2609.03460v1 Announce Type: new Abstract: As generative AI makes polished prose cheap to produce, users can no longer rely on fluency as a proxy for truth. We call this failure mode the Fluency Trap: users trust fluent hallucinations while also discounting accurate content once it is disclosed as AI-generated. Binary ``Made with AI'' labels respond with authorship disclosure, but they do not show what supports a claim. We propose Provenance Density, an evidence-visualization interface tha
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
