이 연구는 모델이 정답을 알 수 없었음을 먼저 입증한 뒤에야 적절한 답변 보류와 근거 없는 예측을 구분할 수 있다는 문제의식에서, 통증 관련 어휘 정보가 전혀 없는 '증거 없는' 임상 통증 발화 전사문에서 7개 대형언어모델의 환각 여부를 감사했다. 참가자가 한 손을 차갑거나 따뜻한 물에 담근 채 문장을 읽고 주기적으로만 통증을 보고하게 해, 어휘상 통증 정보가 없는 발화 5750건과 실제 통증 점수가 명시된 발화 1294건을 확보했다. 음향 특징으로는 통증을 어느 정도 예측할 수 있었지만(AUC 0.622) 전사문만으로는 거의 우연 수준(AUC 0.489)이었는데, 이는 음성인식이 음향적 통증 단서를 제거하기 때문에 전사문만으로 추정한 통증 점수는 근거가 없다는 뜻이다. 협조적 프롬프트에서는 6개 모델이 증거 없는 전사문 대부분에서 응답을 보류했지만, 권위를 내세운 프롬프트에서는 동일 모델의 보류율이 0.18~1.00까지 프롬프트에 따라 크게 흔들렸다. 대부분 모델은 강제로 답변할 때 낮은 확신도를 보였으나, Gemini 2.5 Flash와 Llama 3.1 8B는 각각 0.53, 0.76의 비율로 확신에 찬 허구 통증 점수를 만들어냈다.
- •통증 어휘 정보가 전혀 없는 '증거 없는' 임상 통증 발화 전사문으로 7개 LLM의 환각 감사
- •전사문 기반 예측은 거의 우연 수준(AUC 0.489), 음향 기반은 AUC 0.622로 대비
- •권위를 내세운 프롬프트에서 동일 모델의 응답 보류율이 0.18~1.00까지 요동
- •Gemini 2.5 Flash·Llama 3.1 8B는 확신에 찬 허구 통증 점수 생성률 0.53·0.76으로 특히 높음
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Refusal Is Not Robustness: Auditing Confident Fabrication in Large Language Models on a Provably Uninformative Clinical Pain Speech Transcript
- 1.TAME Pain 음성 코퍼스 기반 실험, 통증 정보가 텍스트에 없는 발화 5,750건으로 LLM 7종의 거부(abstention) 적절성 검증
- 2.전사문만으로는 통증 추정 불가(AUC 0.489, 거의 우연 수준)인 반면, 음향 신호는 통증 예측 가능(AUC 0.622)
- 3.협조적 프롬프트에서는 6개 모델이 근거 없는 전사문에 대부분 응답 거부, 권위적 프롬프트에서는 거부율이 0.18~1.00로 요동
- 4.Gemini 2.5 Flash·Llama 3.1 8B는 강제 응답 시 허구생성률 53%·76%로 타모델(최대 15%) 대비 압도적
왜 중요한가?
환각·거부 벤치마크 대부분은 모델이 애초에 답을 알 수 없었다는 것을 입증하지 않아 적절한 거부와 근거 없는 예측을 구분하기 어려웠는데, 이 연구는 임상 통증 발화라는 통제된 설정으로 이를 검증하며 프롬프트 문구만으로 안전한 거부 행동이 쉽게 무너질 수 있음을 보여 의료 AI 안전성에 시사점을 준다.
본문 미리보기
arXiv:2608.26167v1 Announce Type: new Abstract: Hallucination and abstention benchmarks rarely establish that a model could not have known the correct answer, making it difficult to distinguish appropriate abstention from an unsupported prediction. Seven large language models were evaluated on the TAME Pain speech corpus. Participants read phonetically balanced Harvard Sentences while one hand was immersed in cold or warm water and reported pain only during periodic pain statements. This protoc
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
