LoRA는 지시 따르기·문체 전이·사실 적응에는 잘 통하지만, 조건 분기를 거쳐 종료 상태까지 이어지는 다단계 절차적 지식에서는 효율 이점을 유지하는 랭크 구간에서 전체 파인튜닝을 따라잡지 못한다는 연구다. 14노드 여행 예약 과제에서 r=16~128 전 구성이 일관되게 실패해 과제 성공 점수가 최대 2.54에 그친 반면 전체 파인튜닝은 4.11이었고(p<0.001), 랭크를 높일수록 오히려 점수가 떨어졌다. Zoom 지원(14노드), 보험 청구(55노드) 도메인에서도 8B 모델 기준 평균 0.8~2.2점 열세였으며 절차가 복잡할수록 격차가 컸다. SVD 분석 결과 전체 파인튜닝 업데이트의 평균 유효 랭크가 761~1,026에 달해 랭크 128로는 제곱 프로베니우스 노름의 43~51%밖에 담지 못했다. 에이전트 응용에 근본적 제약이 될 수 있는 결과다.
- •여행 예약 14노드 과제에서 LoRA 과제 성공 점수는 최대 2.54, 전체 파인튜닝은 4.11로 모든 설정에서 p<0.001 수준으로 열세다.
- •대화 완주율은 95~99%로 높았지만 절차를 끝까지 올바르게 수행하는 능력은 부족했다.
- •랭크를 32에서 128로 4배 높여도 격차가 메워지지 않았고 오히려 점수가 낮아지는 경향을 보였다.
- •Zoom 지원(14노드)·보험 청구(55노드) 교차 검증에서도 평균 0.8~2.2점 열세였고 복잡한 절차일수록 격차가 컸다.
- •전체 파인튜닝 가중치 변화의 평균 유효 랭크가 761~1,026이라 랭크 128로는 제곱 노름의 43~51%만 포착된다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures
본문 미리보기
arXiv:2607.21612v1 Announce Type: new Abstract: Parameter-efficient fine-tuning methods like LoRA have become the default for adapting large language models, succeeding across instruction following, style transfer, and factual adaptation. We show that for procedural knowledge--the ability to follow multi-step procedures with conditional branching through to terminal states--LoRA fails to match full fine-tuning at the ranks where it retains its efficiency advantage. In a systematic ablation (r =
전체 내용이 궁금하다면?
원문을 직접 읽어보세요