이 연구는 언어모델의 거짓말 탐지기를 제대로 평가하려면 모델이 말과 반대되는 믿음을 실제로 가진 테스트베드가 필요한데, 기존 학습된 '모델 오가니즘'은 이 요건을 충족하지 못해 과거 결과 해석이 어렵다고 지적한다. 이를 해결하기 위해 사고연쇄(CoT)에서 숨은 믿음이 검증되고 미공개 과제로 일반화되는 13개 추론 모델 오가니즘과, 다양한 거짓말 동기를 다루는 프롬프트 기반 테스트베드 'Varied Deception'을 구축했다. CoT 판정기·로그확률 분류기·활성화 탐침 2종(신규 기법 Did-You-Lie 포함) 네 탐지기를 평가한 결과, 2B~1T 31개 모델의 프롬프트 거짓말에서는 모두 모델 능력에 비례해 성능이 올랐다. 그러나 학습된 모델 오가니즘에서는 활성화·로그확률 탐지기가 급락했고 DYL이 가장 신호를 유지했으며, CoT 판정기만 균형정확도 0.82로 강하게 남았다. 현 탐지기로는 모델 믿음을 고신뢰로 단정할 수 없다는 결론이다.
- •거짓말 탐지기 평가에 필요한 '믿음 검증된 모델 오가니즘' 부재 문제 제기
- •CoT에서 믿음이 검증된 13개 추론 모델 오가니즘과 Varied Deception 테스트베드 구축
- •2B~1T 31개 모델 프롬프트 거짓말에서 네 탐지기 모두 능력 비례 성능 향상
- •학습된 모델 오가니즘에서 활성화·로그확률 탐지기 급락, 신규 DYL이 신호 최대 유지
- •CoT 판정기만 균형정확도 0.82로 강하나, 현 탐지기로는 모델 믿음 고신뢰 단정 불가
"Did you lie?" Evaluating Lie Detectors across Model Scale and Belief-Verified Model Organisms
- 1.신념이 검증된 13개 추론 모델 오가니즘과 거짓말 테스트베드 구축
- 2.2B~1T 31개 모델에서 4개 거짓말 탐지기가 능력에 비례해 성능 향상
- 3.활성화·logprob 탐지기는 학습된 오가니즘에서 급락, DYL이 신호 최다 유지
- 4.CoT 판정기만 균형정확도 0.82로 강세, 단 검증 방식 편향 가능성
왜 중요한가?
기존 거짓말 탐지 평가가 모델이 실제로 반대를 믿는 테스트베드를 결여했음을 드러내고, 현 탐지기로는 모델 신념을 고신뢰로 단정할 수 없음을 보여 감사·모니터링 연구의 한계를 명확히 한다.
🏷️ 언급 프로젝트
LLM의 행동을 감사하고 모니터링하는 데 있어 '거짓말 탐지기'의 개발은 국내 AI 윤리 및 신뢰성 확보에 매우 중요합니다. 모델이 자신이 아는 사실과 반대되는 말을 할 때 이를 검증 가능한 테스트베드를 통해 평가하는 이 연구는, 국내 기업들이 보다 책임감 있고 투명한 AI 모델을 개발하고 운영하는 데 필수적인 통찰을 제공할 것입니다.
본문 미리보기
arXiv:2606.12618v1 Announce Type: new Abstract: Robust lie detectors for language models could enable powerful techniques for auditing, monitoring, and post-hoc investigation of model behaviour, but evaluating them requires testbeds where models verifiably believe the opposite of what they say. We show that existing trained model organisms often fail this requirement, leaving prior positive and negative detection results difficult to interpret. We address this with 13 reasoning model organisms
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
