LLM의 추론 능력 향상을 위한 최전선 수준의 추론 데이터 합성 프레임워크 MindLoom을 제안했다. 어려운 문제를 원자적 지식-추론 변환인 '사고 모드' 체인으로 분해하고, 이를 조합해 새로운 문제를 합성하며 롤아웃 기반 난이도 레이블링을 수행한다. 5개 STEM 분야 9개 벤치마크에서 기반 모델·증류·외부 데이터 기준선 대비 우수한 성능을 달성했으며 오픈소스로 공개되었다.
- •추론 문제를 원자적 '사고 모드' 체인으로 분해해 구성 원리를 파악하는 새로운 관점 도입
- •사고 모드를 검색·조합해 새로운 문제를 합성하고 롤아웃 기반 판정으로 난이도 레이블 부여
- •5개 STEM 분야·수학 추론 벤치마크 9개에서 기반 모델·증류·외부 데이터 기준선 대비 우수한 성능
- •오픈소스로 공개(github.com/EachSheep/MindLoom)해 재현 가능성과 커뮤니티 기여 지원
MindLoom: Composing Thought Modes for Frontier-Level Reasoning Data Synthesis
- 1.MindLoom은 '사고 모드' 조합으로 고난도 추론 데이터를 합성하는 프레임워크
- 2.문제 풀이를 원자적 지식-추론 변환으로 분해 후 재조합해 난이도를 체계적으로 제어
- 3.9개 벤치마크(5개 STEM 분야)에서 증류·외부 데이터 기반 방법 대비 우수한 성능
- 4.오픈소스 공개(github.com/EachSheep/MindLoom)로 커뮤니티 활용 가능
왜 중요한가?
LLM 추론 능력 향상을 위한 고품질 훈련 데이터 합성 방법의 다양성·난이도 제어 문제를 체계적으로 해결하는 접근법으로, 프런티어 모델 개발에 직접 활용될 수 있다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2605.21630v1 Announce Type: new Abstract: Although LLMs have made substantial progress in reasoning, systematically producing frontier-level reasoning data remains difficult. Existing synthesis methods often have limited visibility into the structural factors that govern problem difficulty, which can result in narrow diversity and unstable difficulty control. In this work, we view the difficulty of a reasoning problem as arising from the accumulation of atomic knowledge-reasoning transfor
전체 내용이 궁금하다면?
원문을 직접 읽어보세요