PlanE는 추출 기반(extractive) LLM 구축을 위한 계획 프레임워크로, 데이터 분해·인스트럭션 튜닝·프롬프트 추론의 세 단계를 통합한다. 태스크 특화 LLM에 필요한 대규모 인스트럭션 튜닝 데이터의 주석 비용과 최적화 방법 부재 문제를 겨냥했으며, 특정 데이터셋에 맞는 최적의 베이스 LLM과 데이터-튜닝-추론(DTI) 조합을 선택하는 DTI 플래너를 함께 제안한다. 실험에서 같은 베이스 LLM으로 여러 데이터셋에 적용했을 때와 같은 데이터셋에 여러 베이스 LLM을 적용했을 때 모두 효과를 확인했고, 서로 다른 최적화 목표에서도 DTI 플래너의 일반화 가능성을 검증했다. 코드는 GitHub에 공개돼 있어 태스크 특화 LLM 구축 비용을 줄이려는 실무자가 활용할 수 있다.
- •데이터 분해·인스트럭션 튜닝·프롬프트 추론을 통합한 추출 기반 LLM 구축 프레임워크 PlanE 제안
- •DTI 플래너가 데이터셋별 최적 베이스 LLM과 데이터-튜닝-추론 조합을 자동 선택
- •동일 베이스 LLM×여러 데이터셋, 동일 데이터셋×여러 베이스 LLM 양쪽에서 효과 검증
- •다른 최적화 목표에서도 DTI 플래너 일반화 확인, 코드 공개(GitHub)
PlanE: Meta Planning of Data, Tuning, and Inference for Extractive-based LLMs
본문 미리보기
arXiv:2607.20470v1 Announce Type: new Abstract: Enhancing the task-specific capabilities of Large Language Models (LLMs) primarily requires substantial instruction-tuning datasets. However, the sheer volume of such data imposes a considerable annotation cost, and a lack of optimization methods for tailoring LLMs to specific tasks. To address the above issues, we propose a \textbf{Plan}ning framework for constructing \textbf{E}xtractive-based LLMs called \textbf{PlanE}, which includes data decom
전체 내용이 궁금하다면?
원문을 직접 읽어보세요