리소스 제약 환경의 에이전틱 LLM 시스템을 위한 계층적 제어-학습 프레임워크를 제안한다. 소형 모델을 먼저 출력 스키마로 증류하고, 오라클-컨트롤러 루프가 프로토콜 유효성과 시맨틱 성능을 감시하며, 드리프트 시 경량 파인튜닝을 트리거하는 구조다. Multi-Fidelity Bayesian Optimization 테스트베드에서 비계층·증류 전용·비증류 기준선 대비 신뢰성과 비용 효율이 향상됨을 보였다.
- •소형 모델을 출력 스키마로 증류 후 오라클 컨트롤러가 드리프트 시 경량 파인튜닝을 트리거한다.
- •프롬프트 도메인 실현 가능성과 어텐션 포화를 형식화해 효과적인 컨텍스트 범위를 이론적으로 정의했다.
- •Multi-Fidelity Bayesian Optimization 테스트베드에서 기준선 대비 신뢰성·비용 효율 향상을 확인했다.
Hierarchical Prompt-Domain Control and Learning for Resource-Constrained Agentic Language Models
- 1.리소스 제약 에이전틱 LLM을 위한 계층적 프롬프트 도메인 제어 프레임워크 제안, 스키마 학습과 의미론적 적응을 분리
- 2.오라클 컨트롤러 루프가 프로토콜 유효성·의미론적 성능 모니터링 및 경량 미세조정 트리거
- 3.프롬프트 포화(attention saturation) 문제를 공식화, 명목 컨텍스트 길이 대신 유효 프롬프트 상태 제어로 접근
- 4.Multi-Fidelity Bayesian Optimization 테스트베드에서 비계층·증류만·비증류 베이스라인 대비 신뢰성·비용효율 개선 확인
왜 중요한가?
에이전틱 시스템에서 소형 LLM이 긴 컨텍스트로 겪는 프롬프트 포화 문제를, 계층 분리(스키마 증류 + 온라인 미세조정)로 해결해 메모리·지연·비용 제약 환경에서의 에이전트 배포 실용성을 높인 접근이다.
본문 미리보기
arXiv:2605.27703v1 Announce Type: new Abstract: Large Language Models are increasingly deployed inside agentic systems, where they must follow structured protocols, adapt to evolving states, and operate under memory, latency, and cost constraints. In such regimes, prompt extension is unreliable: growing contexts can push compact models outside their effective prompt domain, while deployment-time fine-tuning remains limited by scarce data and compute. We propose a hierarchical control-and-learni
전체 내용이 궁금하다면?
원문을 직접 읽어보세요