Conditional Attribute Transformers(CAT)는 다음 토큰 확률과 각 잠재적 다음 토큰 선택에 조건부 속성 값을 공동 추정하는 새로운 방법이다. 단일 순방향 패스에서 입력 시퀀스를 수정하지 않고 토큰별 크레딧 할당, 반사실적 분석, 조향 가능한 생성의 세 가지 기능을 지원한다. 희소 보상 과제에서 최고 성능을 달성하고, 속성 확률 추정이 샘플링보다 수십 배 빠르며 다양한 언어 과제에서 디코딩을 효과적으로 안내한다.
- •단일 순방향 패스에서 토큰별 크레딧 할당, 반사실적 분석, 조향 가능한 생성을 동시 지원
- •속성 확률 추정이 샘플링보다 수십 배 빠른 효율성 달성
- •희소 보상 과제에서 최고 성능 달성 및 다양한 언어 과제에서 효과적인 디코딩 안내
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Conditional Attribute Estimation with Autoregressive Sequence Models
- 1.Conditional Attribute Transformers(CAT)는 다음 토큰 확률과 시퀀스 속성 값을 단일 순전파로 동시 추정
- 2.토큰별 신용 할당, 반사실적 분석, 조향 생성의 세 기능을 단일 모델에서 단일 순전파로 구현
- 3.희소 보상 작업 최고 성능, 샘플링 대비 속성 확률 추정 속도를 수 자릿수 이상 향상
왜 중요한가?
자기회귀 모델의 시퀀스 수준 속성 제어 문제를 단일 순전파로 해결해 언어 모델의 조향 가능성과 해석 가능성을 크게 향상시킨다.
본문 미리보기
arXiv:2605.14004v1 Announce Type: new Abstract: Generative models are often trained with a next-token prediction objective, yet many downstream applications require the ability to estimate or control sequence-level properties. Next-token prediction can lead to overfitting of local patterns during training, underfitting of global structure, and requires significant downstream modifications or expensive sampling to guide or predict the global attributes of generated samples at inference time. Her
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:10AI 초안
