LLM이 센서 측정값과 사용자 주장이 충돌할 때 형식에 따라 권위를 암묵적으로 배분하며, 수치 데이터가 자연어 주장에 압도당하는 '권위 역전(Authority Inversion)' 현상을 발견했다. 4B~35B 파라미터 모델 4개와 576건의 충돌 사례를 분석한 결과, 수치 태스크에서 센서 신뢰도(AAI = -0.805, Cohen's d = -2.14)가 거의 0에 가까웠으며 모델 크기와 무관했다. 이를 진단·완화하기 위해 CIR·AAI 지표와 추론 시간 개입법인 GAC(Geometric Authority Calibration)를 제안했고, GAC 적용 시 HAR 정확도가 0~1.6%에서 21.9~27.5%로 개선됐다. LLM 기반 유비쿼터스 시스템에서 센서 우선권 보장을 위한 명시적 권위 감사가 필수임을 시사한다.
- •LLM이 수치 센서 데이터보다 자연어 사용자 주장을 우선시하는 '권위 역전' 현상 발견; 4B~35B 모델 크기와 무관하게 발생(AAI = -0.805).
- •권위 배분을 측정하는 두 지표(CIR·AAI)와 추론 시간 레이어 개입 기법 GAC 제안.
- •GAC 적용 시 인간 활동 인식(HAR) 정확도가 0~1.6%에서 21.9~27.5%로 대폭 향상.
- •이론 기반 인과 주입이 잘못된 결정의 80.2%를 뒤집는 반면 무작위 대조군은 0.4% 미만.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Authority Inversion in LLM-Mediated Ubiquitous Systems: When Models Trust Users Over Sensors
- 1.LLM이 센서 수치 데이터보다 자연어 사용자 주장을 우선하는 '권한 역전' 현상 발견, 수치 태스크 AAI=-0.805로 거의 제로 센서 신뢰
- 2.4개 모델(4B~35B), 4개 데이터셋 576건 평가 — 모델 크기와 무관하게 동일한 권한 역전 패턴 확인
- 3.GAC(기하학적 권한 보정) 추론 시 레이어별 개입으로 HAR 정확도를 0~1.6%에서 21.9~27.5%로 개선
왜 중요한가?
IoT·스마트홈·자율주행 등 LLM이 센서 데이터와 사용자 입력을 함께 처리하는 시스템에서, 센서 우선 신뢰가 자동 보장되지 않음을 수치로 입증하고 실용적 보정 기법(GAC)도 함께 제시했다.
언급 프로젝트
유비쿼터스 시스템에서 LLM이 센서와 사용자 주장의 충돌을 어떻게 처리하는지 분석한 이 연구는 국내 스마트 홈 및 스마트 시티 구축에 중요한 경고를 던집니다. LLM이 센서보다 사용자를 더 신뢰할 수 있다는 발견은 AI의 신뢰성, 안전성, 그리고 윤리적 배포에 대한 국내 논의를 심화시킬 것입니다.
본문 미리보기
arXiv:2605.23938v1 Announce Type: new Abstract: Large language models (LLMs) increasingly fuse heterogeneous inputs in ubiquitous systems. Yet, how LLMs implicitly allocate authority when sensor measurements and user claims conflict remains unexamined, raising critical reliability concerns for deployments where physical sensing must retain priority. Unlike explicit traditional fusion, LLMs bury authority allocation within learned representations. We discover this allocation is severely format-d
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:12AI 초안
