GLASS는 사용자의 과거 응답에서 문체를 뽑아내 개인화된 텍스트를 생성하는 학습 불필요 프레임워크다. 검색 기반, 파라미터 효율적 파인튜닝, 활성값 스티어링 방식은 각각 추론·저장 비용을 늘리거나 문체 신호와 의미 내용을 분리하지 못하는 한계가 있었다. GLASS는 희소 오토인코더(SAE)로 전역 사용자 문체 사전(prior)을 추출하고, 상호작용 시나리오를 군집화해 국소 대조 문체 벡터를 만든 뒤, 추론 시 두 벡터를 서로 다른 층에 함께 주입해 검색이나 파라미터 갱신 없이 맥락 인지형 개인화를 구현한다. LaMP와 LongLaMP 실험에서 ROUGE 지표와 LLM 심사 평가 모두 검색·파인튜닝·스티어링 베이스라인을 앞섰고, SAE 표현이 주제·길이 변화에 더 강인해 문체와 의미가 잘 분리됨을 보였다.
- •희소 오토인코더로 사용자 이력에서 전역 문체 사전을 추출하는 것이 핵심 아이디어다.
- •상호작용 시나리오를 군집화해 국소 대조 문체 벡터를 구성하고 전역 벡터와 다른 층에 주입한다.
- •검색이나 파라미터 업데이트 없이 동작해 추론·저장 오버헤드가 없다.
- •LaMP·LongLaMP에서 ROUGE와 LLM-as-judge 평가 모두 기존 세 계열 베이스라인을 상회했다.
- •SAE 기반 표현은 주제·길이 변화에 더 강인해 문체와 의미 잔여물의 분리가 우수함을 시사한다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
From Profiles to Steering Vectors: Global Sparse Priors and Local Semantic Calibration for Personalized Text Generation
본문 미리보기
arXiv:2607.21620v1 Announce Type: new Abstract: Personalized text generation requires models to capture user-specific writing styles from historical data. Existing approaches based on retrieval, parameter-efficient fine-tuning, or activation steering either introduce inference and storage overhead or struggle to separate stylistic signals from semantic content. We propose GLASS, a training-free framework for personalized generation via Global-Local Activation Steering with Sparse priors. GLASS
전체 내용이 궁금하다면?
원문을 직접 읽어보세요