Project Auto-World는 LLM으로 신경 관계 추론기의 벤치마크 생성을 자동화하는 연구다. 학습 때보다 어려운 문제로의 체계적 일반화 평가가 '무엇이 어려운 문제인가'를 사전에 알기 어렵다는 점에 막혀 있다는 문제의식에서, Datalog 규칙으로 매개변수화된 월드와 Edge Transformer 평가기를 두고 FunSearch 기반 LLM 진화 탐색과 자율 에이전트 탐색으로 어려운 문제 인스턴스를 만드는 샘플링 함수를 발견한다. 이렇게 생성한 데이터로 Edge Transformer를 학습시키면 추가 데이터 교란에도 잘 일반화됨을 보였고, LLM이 제안한 새로운 월드에도 같은 방법론이 적용됨을 확인했다. NeurIPS 2026 E&D 트랙 제출작으로, 신경 관계 추론 연구의 자율화 가능성을 연다.
- •LLM으로 신경 관계 추론 벤치마크 생성을 엔드투엔드 자동화하는 프레임워크 제안
- •Datalog 규칙 기반 월드에서 FunSearch 진화 탐색·에이전트 탐색으로 어려운 인스턴스 생성 함수 발견
- •생성 데이터로 Edge Transformer를 개선하면 추가 교란에도 일반화 유지
- •LLM이 제안한 새 월드에도 동일 기법 적용 가능 — 자율 연구로의 확장성 입증
- •NeurIPS 2026 E&D 트랙 제출, 코드 공개
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Project Auto-World: Towards Automated Benchmarking of Neural Relational Reasoners
- 1.Auto-World, LLM으로 신경 관계 추론기의 벤치마크 생성을 자동화해 점진적 난문제 생성
- 2.Datalog 규칙로 매개변수화한 세계와 Edge Transformer 평가기를 결합
- 3.FunSearch 기반 LLM 진화 탐색과 자율 에이전트 탐색으로 어려운 인스턴스 샘플링 함수 발견
- 4.생성 데이터로 Edge Transformer가 데이터 교란에 잘 일반화, LLM 제안 신규 세계에도 적용
왜 중요한가?
무엇이 어려운 인스턴스인지 사전에 불분명해 관계 추론의 일반화 평가가 어렵던 문제를, LLM 진화 탐색으로 점점 어려운 문제를 자동 생성해 해결한다. 같은 기계를 LLM이 제안한 새 세계에도 적용해 신경 관계 추론의 자율 연구 가능성을 연 점이 주목된다.
본문 미리보기
arXiv:2606.24965v1 Announce Type: new Abstract: Reasoning about relational structures remains a significant challenge for neural models, particularly when they must systematically apply learned knowledge to problem instances that are harder than those seen in training. Progress is hampered by the difficulty of evaluating such generalization, since a priori, it is rarely clear what makes an instance hard. We study how this issue can be addressed by using large language models (LLMs) to automate
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안

