이 논문은 훈련 데이터가 근본적으로 제한적인 만큼 모델이 학습한 기술을 새로운 방식으로 조합해 일반화해야 하는 '조합적 추론'의 중요성을 다루며, 강화학습(RL) 등 후처리 학습이 이런 조합적 추론 능력에 미치는 영향은 잘 알려져 있지 않다고 지적한다. 연구진은 의존성 그래프 프레임워크로 조합적 추론을 형식화해 복잡도가 증가하는 세 단계의 조합성을 도출하고, 결정론적 보상 계산과 명확한 조합 구조를 제공하는 자료구조 과제로 이를 실증했다. 그 결과 분해된 스킬 학습이 조합된 과제로 안정적으로 전이되지 않는 반면, 조합된 과제 학습은 분해된 과제로 더 쉽게 역전이되는 일관된 '분해-조합 비대칭'을 발견했다. 이론적 설명을 제시하는 한편, 길이 외삽·구조적 분포 이동·미지 스킬이 필요한 과제로의 전이 상황에서도 조합적 일반화를 평가했으며, 실제 도구 호출 벤치마크에 대한 예비 연구에서도 이 비대칭이 실용적 환경으로 확장될 수 있다는 예비 증거를 제시했다.
- •강화학습 등 후처리 학습이 조합적 추론 능력에 미치는 영향을 의존성 그래프 프레임워크로 형식화해 분석
- •자료구조 과제 실험에서 분해된 스킨 학습→조합 과제 전이는 불안정, 조합 과제 학습→분해 과제 역전이는 용이한 '분해-조합 비대칭' 발견
- •길이 외삽, 구조적 분포 이동, 미지 스킬 필요 과제 전이 등 다양한 조건에서 조합적 일반화 평가
- •실제 도구 호출 벤치마크 예비 연구에서도 동일 비대칭이 실용 환경으로 확장될 수 있다는 예비 증거 제시
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Compositional Reasoning in Language Models under Reinforcement Learning Post-Training
- 1.강화학습 후속학습이 조합적 추론에 미치는 영향을 의존성 그래프로 형식화, 3단계 복잡도 분류
- 2.자료구조 과제 실험서 '분해→조합 비대칭' 확인—분해스킬 학습은 조합과제로 전이 잘 안 됨
- 3.반대로 조합과제 학습은 분해과제로 잘 전이, 길이외삽·구조변화·미학습스킬 조건서도 재확인
- 4.실제 도구호출 벤치마크 파일럿에서도 동일 비대칭 경향의 예비 증거 발견
왜 중요한가?
'쉬운 부분부터 가르치면 어려운 조합과제도 잘한다'는 통념과 반대로, 어려운 조합과제를 직접 훈련하는 편이 더 효율적이라는 결과는 추론모델 학습 커리큘럼 설계 방향을 재고하게 한다.
본문 미리보기
arXiv:2609.19465v1 Announce Type: new Abstract: Compositional reasoning is critical for real-world problem solving: since training data is necessarily limited, models must generalize by composing learned skills in new ways. While post-training methods such as reinforcement learning (RL) have substantially improved the reasoning abilities of language models (LMs), their effects on compositional reasoning remain less well understood. We propose a dependency-graph framework to formalize compositio
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

