ARIADNE는 단일 백본에 다수의 작업별 어댑터(PEFT)가 연결된 환경에서, 라벨 없는 추론 질의에 가장 적합한 어댑터를 학습 없이 선택하는 라우팅 프레임워크다. 기존 방법은 어댑터 내부(가중치 분해·그래디언트 통계) 접근이나 별도 라우터 학습을 요구해 확장성이 떨어진다. ARIADNE는 각 어댑터를 학습셋 임베딩에서 계산한 센트로이드 집합으로 표현하고, 입력 임베딩 공간에서 센트로이드와의 근접도로 어댑터를 고른다. 라우팅을 입력 임베딩 공간에서만 수행하므로 임의의 PEFT와 호환되고 어댑터·학습 절차 수정이 필요 없다. Llama 3.2 1B Instruct·23개 NLP 작업에서 상한 성능의 97.44%를 회복했고, 44개 작업으로 확장 시 추가 학습 없이 평균 89.7% 선택 정확도를 달성했다.
- •ARIADNE: 학습 불필요·어댑터 불가지론적인 추론시 동적 어댑터 선택 라우팅 프레임워크
- •어댑터 내부 접근·별도 라우터 학습에 의존하던 기존 방법의 확장성 한계 극복
- •각 어댑터를 학습셋 임베딩 센트로이드로 표현, 입력 임베딩 공간 근접도로 선택
- •입력 임베딩 공간에서만 라우팅해 임의 PEFT와 호환, 어댑터·학습 절차 수정 불필요
- •Llama 3.2 1B·23개 작업 상한 97.44% 회복, 44개 작업 확장 시 평균 89.7% 선택 정확도
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
ARIADNE: Agnostic Routing for Inference-time Adapter DyNamic sElection
- 1.ARIADNE: 추가 학습 없이 추론 시점에 최적 PEFT 어댑터를 선택하는 라우팅 프레임워크 제안
- 2.각 어댑터를 학습 데이터 임베딩의 센트로이드로 표현, 입력과의 근접도로 선택
- 3.Llama 3.2 1B 기준 23개 NLP 태스크에서 상한 성능의 97.44% 회복
- 4.44개 태스크로 확장 시 추가 학습 없이 평균 선택 정확도 89.7% 달성
왜 중요한가?
어댑터 내부 가중치 접근이나 별도 라우터 학습 없이 입력 임베딩 공간만으로 동작해, 어댑터가 계속 늘어나는 PEFT 생태계에서 임의의 PEFT 방식과 호환되는 확장성·이식성을 제공한다.
매개변수 효율적 미세 조정(PEFT) 기술의 확산으로 인해 국내 기업들은 복잡한 AI 모델 생태계에서 추론 시 적절한 어댑터를 효율적으로 동적 선택해야 하는 과제에 직면하고 있습니다. 'ARIADNE'와 같은 기술은 이 문제를 해결하여 국내 AI 서비스의 비용 효율성과 응답 속도를 개선하고, 다양한 태스크에 최적화된 AI 모델 운영을 가능하게 할 것입니다.
본문 미리보기
arXiv:2606.19079v1 Announce Type: new Abstract: The increasing deployment of parameter-efficient fine-tuning (PEFT) has led to model ecosystems in which a single backbone is paired with many task-specialized adapters. In this setting, inference-time queries often arrive without task labels, requiring the system to automatically select the most appropriate adapter from a growing and heterogeneous adapter pool. Existing routing methods either depend on access to adapter internals, such as weight
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:23AI 초안
