MetaSpace는 소프트웨어공학의 변성 테스팅(metamorphic testing) 원리를 응용해 체화 에이전트(embodied agent)의 공간 인지 능력을 평가하는 프레임워크다. 기존 평가 방식인 수작업 VQA 라벨링과 과제 완료율 지표가 각각 노동집약적이거나 위험한 우회 수행을 은폐하는 한계를 겨냥해, 실제 실행 궤적에서 얻은 시공간 멀티모달 상태로부터 논리 규칙과 물리 법칙에 기반한 변성 관계(MR)를 Prolog로 인코딩해 자동으로 테스트 케이스를 생성한다. 세 가지 체화 시나리오에 대한 실증 평가에서 최신 MLLM 기반 에이전트의 공간 인지 오류 9만 422건을 탐지했다. 새로 도입한 공간인지(SC) 점수 기준 최신 에이전트들은 평균 0.44~0.52에 그쳐, 인간 기준치 0.96에 크게 못 미치는 것으로 나타났다.
- •변성 테스팅 원리로 체화 에이전트의 공간 인지를 자동 평가하는 프레임워크
- •논리·물리 법칙 기반 변성 관계(MR)를 Prolog로 인코딩해 테스트 자동 생성
- •세 시나리오 실증평가에서 최신 MLLM 에이전트의 공간인지 오류 9만 422건 탐지
- •SC 점수 기준 최신 에이전트 평균 0.44~0.52, 인간 기준(0.96)에 크게 못 미칩
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
MetaSpace: Metamorphic Testing for Spatial Cognition in Embodied Agents
본문 미리보기
arXiv:2608.07533v1 Announce Type: new Abstract: An embodied agent is an intelligent entity that interacts with its environment through a physical body. Currently, the evaluation of embodied agents primarily relies on two paradigms: (1) manually annotated Visual Question Answering (VQA) pairs and (2) high-level task completion metrics, such as success in navigation or manipulation. The former is labor-intensive and subject to variability in annotation quality. The latter may obscure critical vul
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:39AI 초안

