TriQua는 LLM 사실성 평가에서 '분해 후 검증' 방식이 겪는 세분성-맥락 트레이드오프를 해결하는 프레임워크다. 단순한 주장은 표준 트리플로 추출하고, 복잡한 주장은 보조 맥락 수식어를 붙인 초관계형(hyperrelational) 사실로 표현해 원자성을 잃지 않으면서도 정확한 검색과 검증에 필요한 맥락을 보존한다. 검증 과정에서는 특정 트리플과 수식어 안의 구체적 오류를 직접 표시해 세밀한 설명 가능성을 제공하며, 구조화된 사실 단위의 사실성을 정량화하는 TriQuaScore도 함께 제안한다. 실험 결과 TriQuaScore는 사람이 매긴 사실성 점수와 강하게 일치했고, TriQua는 견고한 분해 품질을 보이며 근거 기반 사실 검증에서 기존 분해 기반 프레임워크를 능가했다.
- •단순 주장은 트리플, 복잡 주장은 맥락 수식어를 붙인 초관계형 사실로 적응적 표현
- •특정 트리플·수식어 단위로 오류를 직접 주석해 세밀한 설명 가능성 제공
- •사실성 정량화 지표 TriQuaScore를 함께 제안
- •TriQuaScore가 사람이 매긴 사실성 점수와 강한 상관관계
- •근거 기반 사실 검증에서 기존 분해 기반 프레임워크 능가
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
TriQua: Reconciling Granularity and Context in Factuality Evaluation
본문 미리보기
arXiv:2608.05228v1 Announce Type: new Abstract: The "decompose-then-verify" paradigm for LLM factuality evaluation faces a fundamental trade-off: atomic facts, i.e., one sentence conveying one unit of information, often omit essential context, while broader statements lack the granularity needed for precise assessment. To address this, we introduce TriQua, a framework that flexibly models facts based on their complexity. Simple claims are extracted as standard triples, while complex claims are
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:11AI 초안
