트랜스포머 언어모델이 객관식 문제에서 답을 확정하는 지점을 찾은 연구다. 저자들은 추론 도중 선택지 순위가 갑자기 안정되는 층을 '하드 결정 층(Hard Decision Layer, HDL)'으로 규정했다. Qwen, Llama, Granite, Mistral 4종과 벤치마크 4종에서 학습된 라우팅 정책 없이도 HDL이 일관되게 나타났고, 파인튜닝을 해도 위치가 변하지 않았다. HDL에서 정확도가 급격히 올라 CommonsenseQA의 Qwen에서는 최대 +0.61 상승 후 이후 층에서는 성능이 평탄해졌다. 레이블 형식과 문제 복잡도를 바꾼 절제 실험에서도 현상이 유지돼 아키텍처에 내재한 성질임을 시사하며, 남은 층 연산을 줄이는 효율적 추론과 모델 조종(steering)의 실마리를 제공한다.
- •선택지 순위가 급격히 안정화되는 층을 Hard Decision Layer로 정의했다.
- •Qwen·Llama·Granite·Mistral 4개 모델과 4개 벤치마크에서 별도 라우팅 학습 없이 일관되게 관찰됐다.
- •HDL 위치는 파인튜닝에 불변이었다.
- •CommonsenseQA의 Qwen에서 HDL 지점 정확도가 최대 +0.61 상승한 뒤 평킁2화됐다.
- •레이블 형식·문제 복잡도 절제 실험으로 아키텍처적 특성임을 확인했고 코드를 공개했다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
The Hard Decision Layer: Evidence for Committed Inference in Transformers
본문 미리보기
arXiv:2607.21613v1 Announce Type: new Abstract: We investigate where and how transformer-based language models commit to predictions in multiple-choice question answering. We identify the _Hard Decision Layer_ (HDL), a natural architectural property where answer option rankings stabilize abruptly during inference. Empirical validation across four language models (Qwen, Llama, Granite, Mistral) and four benchmark datasets demonstrates consistent HDL emergence without learned routing policies. We
전체 내용이 궁금하다면?
원문을 직접 읽어보세요