이 논문은 소수의 목표 도메인 상호작용만으로 미지의 대화 도메인에서 사용자 선호에 맞는 응답을 생성하는 교차 도메인 개인화 문제를 다룬다. 기존 적응 기법은 근거가 희박할 때 업데이트 강도를 조절하지 못해 과적합되거나, 이력 전이 기법은 사용자 선호와 소스 도메인 특성이 뒤섞여 부정적 전이를 낳는 한계가 있었다. 저자들은 메타학습된 LoRA 초기값을 적응 시작점이자 사전(prior) 중심으로 삼고, 지지 집합 크기와 예측 불확실성에 따라 업데이트 강도를 조절하는 'PAC-베이즈 정규화 메타-LoRA'를 제안한다. 또한 개인화 사전을 사용자 요소와 도메인 요소로 기능적으로 분리해 각각 프롬프트와 소프트 토큰으로 표현한다. HiCUPID 벤치마크에서 교차 도메인 승률 저하를 기존 최고 기준선 대비 47.9% 줄이고, 미지 사용자 콜드스타트 승률을 110.2% 개선했다.
- •소수 상호작용만으로 미지 도메인에 적응하는 교차 도메인 개인화 문제 다룸
- •PAC-베이즈 정규화 메타-LoRA로 지지 집합 크기·불확실성에 따라 업데이트 강도 조절
- •개인화 사전을 사용자 요소(프롬프트)와 도메인 요소(소프트 토큰)로 기능적 분리
- •HiCUPID 벤치마크에서 교차 도메인 승률 저하 47.9% 감소
- •미지 사용자 콜드스타트 승률 110.2% 개선
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Learning to Adapt Cross-Domain Preferences via Meta-LoRA for LLM Personalization
- 1.희소 증거 하에서도 과적합 방지하는 PAC-Bayes 정규화 기반 Meta-LoRA 제안, 크로스도메인 개인화용
- 2.사용자·도메인 요소 분리해 안정적 선호는 프롬프트로, 도메인 특성은 위상보존 소프트토큰으로 표현
- 3.HiCUPID 벤치마크서 크로스도메인 승률저하 최고경쟁모델 대비 47.9% 감소, 콜드스타트 승률 110.2% 개선
왜 중요한가?
기존 방법은 소수 상호작용만으로 적응할 때 과적합하거나 소스 도메인 특성과 사용자 선호를 뒤섞어 부정적 전이를 일으켰는데, 증거량에 따라 적응 강도를 조절해 소수샷 개인화의 신뢰성을 실질적으로 높인다.
본문 미리보기
arXiv:2608.12389v1 Announce Type: new Abstract: Cross-domain zero- or few-shot personalization aims to generate user-preferred responses in unseen conversational domains from only a handful of target-domain interactions. Existing adaptation methods struggle to calibrate update magnitude under sparse evidence and thus overfit, whereas history-transfer methods often entangle user preferences with source-domain artifacts, yielding unreliable personalization priors and negative transfer. To calibra
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:21AI 초안
