OmniToM은 LLM의 마음 이론(Theory of Mind) 능력을 서사 내 모든 관련 행위자의 믿음 구조를 명시적으로 모델링하도록 요구해 평가하는 벤치마크다. 기존 종점 질의응답 방식으로는 모델이 실제로 정신 상태 표현을 구성하는지 알 수 없는 한계를 극복한다. 895개 ToMBench 스토리에서 22,343개 레이블링된 믿음 명제를 구성하며, 재귀적 차수·진실 상태·지식 접근·명시성·내용 유형·정신 출처·맥락 등 7차원 스키마로 레이블링한다. 제로샷 평가에서 현재 LLM이 서사 사실을 행위자 믿음으로 변환하는 지식 접근 판단에서 특히 취약한 행위자별 믿음 추적 병목이 드러났다.
- •OmniToM은 서사 내 모든 관련 행위자의 릿음 구조를 명시적으로 추출하고 레이블링하도록 요구해 종점 QA 방식의 한계를 극복.
- •895개 스토리에서 22,343개 레이블링된 맿음 명제 구성, 7차원 스키마(재귀적 차수·진실 상태·지식 접근 등) 적용.
- •두 단계 평가: 1단계 맿음 추출, 2단계 7차원 스키마 레이블링으로 마음 이론의 세분화된 분석 가능.
- •제로샷 평가에서 현재 LLM이 서사 사실을 행위자 맿음으로 변환하는 지식-접근 판단에서 특히 취약한 행위자별 맿음 추적 병목 드러남.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
OmniToM: Benchmarking Theory of Mind in LLMs via Explicit Belief Modeling
LLM의 '마음 이론(Theory of Mind)' 벤치마크인 'OmniToM'은 모델이 타인의 지식과 의도를 추론하는 능력을 정교하게 평가합니다. 한국에서는 더욱 인간 중심적이고 윤리적인 AI 개발이 강조되는 만큼, 이 연구는 차세대 AI의 신뢰성 및 상호작용성 향상에 기여할 것으로 보입니다.
본문 미리보기
arXiv:2605.26322v1 Announce Type: new Abstract: Theory of Mind (ToM), the ability to infer others' knowledge, intentions, and emotions, is commonly evaluated in large language models (LLMs) using end-point question answering, where performance is judged solely by the final answer to a social reasoning query. This paradigm obscures whether the model actually constructs the underlying mental-state representations required for robust reasoning, particularly in scenarios involving divergent, evolvi
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:12AI 초안
