이 논문은 텍스트 기반 월드 모델 학습에서 상태를 어떻게 직렬화(serialization)하느냐가 성능에 미치는 영향을 통제된 실험으로 분석한 HyperWorld를 제안한다. 원시 관측값과 독립 문장, 쌍별 트리플, 개체를 중심으로 관련 사실들을 묶는 하이퍼엣지 단위 등 세 가지 기호적 직렬화 방식을 동일한 학습 목표(상태와 행동이 주어졌을 때 효과를 예측하거나 실행 불가능 여부 판단) 하에서 비교했다. 0.5B~1.5B 규모의 모델과 분포 밖(OOD) 테스트 환경에서는 하이퍼엣지 직렬화가 가장 뚜렷한 성능 향상을 보였으며, 모델이 커질수록 격차는 줄어들고 쌍별 트리플이 분포 내 정확도에서는 하이퍼엣지와 비슷하거나 앞서지만, 하이퍼엣지는 OOD 사실 F1 점수와 다운스트림 그리디 플래닝 성공률에서 가장 우수한 결과를 냈다. 이는 모델 용량이 제한적이거나 테스트 환경이 학습 환경과 다를 때, 고차원적 상태 조직화가 간단하면서도 효과적인 귀납적 편향이 될 수 있음을 시사한다.
- •텍스트 월드 모델 학습에서 상태 직렬화 구조의 영향을 통제 실험으로 분석한 HyperWorld 제안
- •개체 중심으로 관련 사실을 묶는 하이퍼엣지 직렬화가 0.5B~1.5B 소규모 모델과 분포 외(OOD) 환경에서 가장 큰 성능 향상
- •모델이 커질수록 직렬화 방식간 격차는 줌어듦
- •쌍별 트리플은 분포 내 정확 일치도에서는 하이퍼엣지와 비슷하거나 약간 앞서나 OOD F1과 플래닝 성공률은 하이퍼엣지가 우위
- •고차원 상태 조직화가 모델 용량이 제한적이거나 테스트 환경이 달라질 때 효과적인 귀납적 편향임을 시사
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
HyperWorld: Hypergraph-Structured State Serialization Improves Learned Textual World Models
- 1.HyperWorld는 텍스트 월드모델 학습에서 상태 직렬화 방식이 성능에 미치는 영향을 통제 비교
- 2.소형 모델과 분포 밖 환경에서는 개체중심 하이퍼엣지 직렬화가 가장 뚜럽한 성능 이득을 보임
- 3.모델이 커지면 격차는 줄고 쌍별 트리플이 분포 내 정확도에서는 비슷하거나 앞서
- 4.다운스트림 그리디 플래닝에서도 하이퍼엣지 월드모델이 가장 높은 성공률을 기록
왜 중요한가?
모델 용량이 제한적이거나 테스트 환경이 학습 환경과 다를 때는 상태를 어떻게 표현하느냐가 파라미터를 늘리는 것 못지않게 중요한 성능 요인이 될 수 있음을 보여준다.
언급 프로젝트
본문 미리보기
arXiv:2609.00002v1 Announce Type: new Abstract: World models enable language-model agents to predict environment dynamics and plan before acting. In text environments, the model must learn symbolic action effects from serialized state descriptions, but the role of serialization structure remains underexplored. We present HyperWorld, a controlled study of state serialization for learned textual world models. We compare raw observations with three symbolic serializations of the same ground-truth
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:39AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
