LLM 기반 추론 시스템이 명시적 목표와 암묵적 사용자 선호도를 모두 반영한 인간 정렬 의사결정을 하도록 지원하는 CLIPR 프레임워크를 소개합니다. 최소한의 대화 입력으로 잠재 사용자 선호도를 나타내는 전이 가능한 자연어 규칙을 학습하고, 적응형 피드백으로 반복 정제합니다. 3개 데이터셋과 사용자 연구에서 기존 방법 대비 정렬 향상과 추론 비용 감소를 입증했으며, 분배 내·외 모호 태스크 모두에 적용 가능합니다.
- •CLIPR은 최소 대화 입력으로 잠재 사용자 선호도를 자연어 규칙으로 학습하는 프레임워크
- •학습된 규칙이 분배 내·외 다양한 태스크에 전이 가능
- •적응형 피드백으로 규칙을 반복 정제하여 정렬 품질 향상
- •3개 데이터셋과 사용자 연구에서 기존 방법 대비 우수한 정렬 성능과 낮은 추론 비용 확인
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Learning Transferable Latent User Preferences for Human-Aligned Decision Making
- 1.LLM이 최소한의 대화로 잠재적 사용자 선호를 추론해 전이 가능한 자연어 규칙을 학습하는 CLIPR 제안
- 2.적응적 피드백으로 규칙을 반복 정제하고 분포 내·외 모호한 작업에 적용
- 3.3개 데이터셋과 사용자 연구에서 기존 방법 대비 정렬 성능 향상 및 추론 비용 절감 확인
왜 중요한가?
반복적 사용자 인터랙션 없이도 잠재 선호를 빠르게 학습하고 다양한 상황에 일반화해, 개인화된 AI 어시스턴트의 실용성을 크게 높인다.
언급 프로젝트
본문 미리보기
arXiv:2605.12682v1 Announce Type: new Abstract: Large language models (LLMs) are increasingly used as reasoning modules in many applications. While they are efficient in certain tasks, LLMs often struggle to produce human-aligned solutions. Human-aligned decision making requires accounting for both explicitly stated goals and latent user preferences that shape how ambiguous situations should be resolved. Existing approaches to incorporating such preferences either rely on extensive and repeated
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:10AI 초안
