ARIADNE: Agnostic Routing for Inference-time Adapter DyNamic sElection
- 1.ARIADNE: 추가 학습 없이 추론 시점에 최적 PEFT 어댑터를 선택하는 라우팅 프레임워크 제안
- 2.각 어댑터를 학습 데이터 임베딩의 센트로이드로 표현, 입력과의 근접도로 선택
- 3.Llama 3.2 1B 기준 23개 NLP 태스크에서 상한 성능의 97.44% 회복
- 4.44개 태스크로 확장 시 추가 학습 없이 평균 선택 정확도 89.7% 달성
왜 중요한가?
어댑터 내부 가중치 접근이나 별도 라우터 학습 없이 입력 임베딩 공간만으로 동작해, 어댑터가 계속 늘어나는 PEFT 생태계에서 임의의 PEFT 방식과 호환되는 확장성·이식성을 제공한다.
본문 미리보기
arXiv:2606.19079v1 Announce Type: new Abstract: The increasing deployment of parameter-efficient fine-tuning (PEFT) has led to model ecosystems in which a single backbone is paired with many task-specialized adapters. In this setting, inference-time queries often arrive without task labels, requiring the system to automatically select the most appropriate adapter from a growing and heterogeneous adapter pool. Existing routing methods either depend on access to adapter internals, such as weight
전체 내용이 궁금하다면?
원문을 직접 읽어보세요