MoE 언어모델의 라우터가 토큰의 은닉 상태만 보고 전문가를 선택하는 한계를 넘어, 어텐션 가중치의 슬라이딩 윈도우에서 시간·주파수 특징을 추출해 라우팅에 반영하는 Attention-Aware Routing(AAR)이 제안됐다. 기본 트랜스포머는 고정한 채 라우팅 파라미터만 학습시켜 효과를 분리 측정한 결과, OLMoE에서 GSM8K 점수가 라우팅 전용 SFT 기준선 대비 3.37%포인트 향상됐다. 연구진은 한 층의 라우팅 변화가 잔차 스트림을 통해 다음 층의 어텐션 싱크를 증폭시켜 어텐션 메커니즘 자체를 바꾸지 않고도 어텐션 패턴을 재구성한다는 '라우팅-어텐션 결합 회로'를 발견했다. AAR은 오답의 장황한 생성은 줄이면서 정답 길이는 유지했으나, 전 층에 무분별하게 적용하면 사실 검색 성능이 떨어지고 깊은 층에서만 추론 향상이 지속되는 검색-추론 트레이드오프도 확인됐다.

• •어텐션 가중치의 시간·주파수 특징을 라우터에 추가해 컨텍스트 정보를 활용하는 AAR 제안
• •OLMoE에서 GSM8K 성능이 라우팅 전용 SFT 대비 3.37%포인트 향상
• •라우팅 변화가 다음 층 어텐션 싱크를 증폭시키는 '라우팅-어텐션 결합 회로' 발견
• •오답의 장황한 생성은 줄이고 정답 길이는 유지
• •전 층 적용 시 사실 검색 저하, 깊은 층에서만 추론 향상이 지속되는 트레이드오프 확인