Procedural Memory Distillation(PMD)은 RLVR 학습에서 버려지던 에피소드 간 절차적 신호(성공 전략, 반복 실패 패턴)를 재사용 가능한 메모리로 축적하고 이를 학습 중 모델 가중치에 증류하는 기법이다. 메모리를 원시 궤적, 자기 성찰 전략·교훈, 상위 행동 패턴의 3단계로 조직하고, 메모리 조건부 자기 교사가 학생 모델의 롤아웃을 감독해 추론 시에는 메모리 없이 동작한다. Qwen3-8B와 OLMo3-Instruct-7B에서 SDPO 대비 SCIKNOWEVAL 3.8~5.5%, LIVECODEBENCH 7.9~13.6% 향상됐고, 메모리나 정책 한쪽을 고정하면 10% 이상 뒤처져 정책-메모리 공진화가 핵심임을 보였다. 외부 메모리 없이 자기 개선하는 LLM 학습의 실용적 경로를 제시한다.

• •에피소드 단위 보상만 쓰는 RLVR/SDPO와 달리, 에피소드 간 교차 신호를 절차적 메모리로 변환해 가중치에 증류
• •메모리를 원시 굤적→자기 성찰 전략→상위 행동 패턴의 3단계 추상화로 온라인 구성
• •학습 스캐폴드로만 쓰이고 추론 시에는 메모리가 필요 없는 memory-free 모델 생성
• •SDPO 대비 SCIKNOWEVAL 3.8~5.5%, LIVECODEBENCH 7.9~13.6% 향상 (Qwen3-8B, OLMo3-Instruct-7B)
• •메모리나 정책 한쪽을 고정하면 10%p 이상 성능 하락 — 정책-메모리 공진화가 성능의 원천