AdaRoPE는 어텐션 헤드마다 학습 가능한 회전 주파수와 어텐션 스케일링 계수를 부여하는 RoPE 개선안이다. 표준 RoPE가 모든 헤드에 균일한 주파수 스케줄과 스케일링을 강제하는 반면, 검색 태스크와 길이 일반화 시나리오를 통해 기능적 역할이 다른 헤드는 서로 다른 주파수 범위와 스케일링이 필요함을 실증적·이론적으로 보였다. 이 구조를 무시하면 임베딩 차원 활용이 비효율적이고 특히 장문맥에서 성능이 저하된다. AdaRoPE로 사전학습한 LLM은 partial RoPE, NoPE 등 기존 변형을 일관되게 능가했으며, YaRN 같은 균일 스케일링 기반 컨텍스트 확장법도 최적이 아님을 보이고 헤드별 스케일링으로 단문맥 성능을 보존하면서 더 나은 컨텍스트 확장을 달성했다. 위치 임베딩 최적화를 헤드 수준에서 해야 한다는 설계 원칙을 제시한다.

• •헤드별 학습 가능 회전 주파수·어텐션 스케일링을 도입한 AdaRoPE 제안
• •기능적 역할이 다른 헤드는 서로 다른 주파수 범위가 필요함을 실증·이론 양면으로 규명
• •사전학습 시 partial RoPE·NoPE 등 기존 변형 일관 상회
• •YaRN의 균일 스케일링은 차선—헤드별 스케일링이 컬텍스트 확장과 단문맥 성능 보존을 동시 달성