XAI-Arena: Can LLMs Assess the Quality of XAI Explanations? | AIChainDay

한국어 요약by Claude · 2026. 9. 12.

이 연구는 설명가능AI(XAI)의 설명 품질을 평가하는 데 흔히 쓰이는 주관적 인간 평가의 재현성·확장성 한계를 극복하기 위해, LLM을 판정자로 활용하는 프레임워크 XAI-Arena를 제안한다. 단순성, 명료성, 과제 적합성, 신뢰 보정, 실행 가능성, 투명성, 충실성, 전반적 해석 가능성 등 다차원 기준으로 XAI 설명을 비교할 수 있게 설계됐다. 다양한 데이터셋, 머신러닝 모델, 이해관계자 페르소나에 걸쳐 XAI 기법을 벤치마킹했으며, 사람 평가와의 상관관계는 스피어만 상관계수 0.693(p<.001)으로 강한 양의 연관성을 보였다. 이는 LLM 기반 평가가 XAI 설명 품질의 체계적 차이를 포착하는 확장 가능하고 재현 가능한 비교 평가 수단이 될 수 있음을 시사한다.

•LLM을 판정자로 삼아 XAI 설명 품질을 다차원적으로 평가하는 XAI-Arena 제안
•명료성·신뢰 보정·충실성 등 8개 차원에서 XAI 기법 비교 가능
•사람 평가와의 상관계수 0.693(p<.001)로 강한 일치도 확인
•다양한 데이터셋·모델·이해관계자 페르소나에 걸친 벤치마킹으로 재현성 확보

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 10일AI 점수: 85%

XAI-Arena: Can LLMs Assess the Quality of XAI Explanations?

출처:arXiv cs.AI

AI 인사이트

개발자

1.LLM을 심판으로 활용해 XAI 설명 품질을 재현 가능하게 비교 평가하는 XAI-Arena 프레임워크 제안
2.단순성, 명확성, 과업 적합성, 신뢰 보정, 실행 가능성, 투명성, 충실도 등 다차원 지표로 설명을 평가
3.다양한 데이터셋·모델·이해관계자 페르소나 기준으로 여러 XAI 기법을 벤치마킹
4.인간 평가와의 스피어만 상관계수 0.693(p<.001)으로 강한 정합성 확인

왜 중요한가?

기존 XAI 품질 평가가 주관적 인간 판단에 의존해 재현성과 확장성이 떨어졌던 문제를 LLM 심판 방식으로 정량화함으로써 XAI 연구의 비교 가능성을 높였다는 점에서 의미가 크다.

언급 프로젝트

XAI-Arena

본문 미리보기

arXiv:2609.09428v1 Announce Type: new Abstract: Evaluating the quality of explanations produced by explainable AI (XAI) methods remains challenging because existing approaches often rely on subjective human judgment, limiting reproducibility, scalability, and comparability between studies. We examine whether LLMs can serve as a reproducible and scalable mechanism to make comparative assessments of the quality of XAI explanations. We introduce XAI-Arena, an LLM-as-a-judge framework for scalable,

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기