이 연구는 LLM의 추론을 능동적 증거 수집과 신념 갱신으로 재정의하는 멀티턴 인터랙티브 평가 프레임워크를 소개한다. LLM은 태스크 규칙만 받고 숨겨진 환경에 쿼리를 발행해 부분 관찰을 통합한 후 최종 답을 제출하며, 5개 난이도의 474개 실행 가능 게임으로 구성된 벤치마크에서 프론티어 LLM들을 평가했다. 성공률과 상호작용 효율 양면에서 큰 차이가 나타났으며, 반사실적 수정과 필요성 판단이 문맥 교란보다 훨씬 큰 성능 저하를 유발해 현재 LLM의 메타인지 취약성을 드러냈다.
- •추론을 수동 답변 생성이 아닌 '능동적 증거 수집과 신념 갱신'으로 재정의해 단일 턴 벤치마크로는 측정 불가능한 추론 측면을 평가한다.
- •474개 실행 가능 게임, 5개 난이도의 벤치마크에서 표준 성공률 외에 상호작용 효율·문맥 강건성·메타인지 적응을 추가로 평가한다.
- •프론티어 LLM들 간 성공률과 상호작용 효율 양면에서 큰 차이를 노쳐 높은 변별력을 가진 벤치마크임을 입증한다.
- •문맥 교란은 완만한 성능 저하를 유발하지만, 반사실적 수정과 필요성 판단은 훨씬 큰 성능 저하를 일으켜 현재 LLM의 메타인지 취약성을 드러낸다.
Evaluating Interactive Reasoning in Large Language Models: A Hierarchical Benchmark with Executable Games
- 1.LLM 상호작용 추론 평가
- 2.계층적 벤치마크 도입
- 3.실행 가능한 게임 활용
왜 중요한가?
LLM의 상호작용 추론 능력을 평가하기 위한 새로운 계층적 벤치마크는 AI 모델이 복잡한 환경에서 정보를 능동적으로 탐색하고 추론하는 능력을 객관적으로 측정하는 데 중요합니다. 이는 더 지능적인 AI 개발에 필수적인 피드백을 제공합니다.
거대언어모델(LLM)의 상호작용적 추론 능력을 평가하기 위한 새로운 계층적 벤치마크는 국내 AI 기업들에게 중요한 시사점을 제공합니다. 한국 시장에서 LLM 기반 서비스가 고도화됨에 따라, 모델이 동적으로 정보를 획득하고 신념을 업데이트하는 능력을 정확히 측정하는 것은 신뢰성 있는 AI 제품 개발과 사용자의 기대를 충족시키는 데 필수적입니다.
본문 미리보기
arXiv:2606.00103v1 Announce Type: new Abstract: We introduce a multi-turn interactive framework for reasoning evaluation that treats reasoning as active evidence acquisition and belief updating. Wherein, LLMs receive only the task rules, must issue targeted queries to a hidden environment, integrate partial observations over time, and decide when to submit a final answer. Beyond standard success rate and interaction efficiency, we evaluate contextual robustness under controlled contextual pertu
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
