Ai2가 트랜스포머(Olmo 3)와 하이브리드 모델(Olmo Hybrid)을 토큰 단위로 비교해 하이브리드 아키텍처가 어떤 토큰을 더 잘 예측하는지 분석했다. 데이터·토크나이저·학습 레시피를 동일하게 맞춘 7B 모델 쌍에서 손실 격차(loss gap)를 측정한 결과, 하이브리드는 명사·동사·형용사 등 의미를 담는 내용어에서 약 0.04의 우위를 보인 반면 기능어에서는 0.02 수준에 그쳤다. 반대로 입력에 이미 등장한 구절을 그대로 반복하는 토큰과 닫는 괄호 예측에서는 우위가 사라져, 정확한 회상은 어텐션의 강점임이 확인됐다. 특정 토큰 유형만 걸러 손실을 평가하면 1B 사전학습 초기부터 아키텍처 간 차이를 드러낼 수 있어, 평균 손실 하나로 아키텍처를 비교하는 관행의 한계를 보여준다.

• •데이터·토크나이저·레시피를 맞춘 Olmo 3(트랜스포머) vs Olmo Hybrid 비교로 순수 아키텍처 효과 분리
• •하이브리드는 내용어(loss gap 약 0.04)와 문맥 추적이 필요한 토큰에서 강세, 기능어는 약 0.02
• •반복 n-gram과 닫는 괄호 예측에서는 하이브리드 우위가 사라져 정확한 회상은 어텐션의 영역임을 확인
• •순수 RNN은 반복 토큰에서 트랜스포머·하이브리드에 모두 뒤처짐(1B 모델 3종 비교)
• •필터링된 토큰 손실이 사전학습 초기 아키텍처 비교 평가 지표로 유용함을 제안