트랜스포머의 어텐션 스코어 QKᵀ가 본질적으로 '커널 평가(kernel evaluation)'라는 수학적 관점을 제시한 에세이. 70년 된 Mercer's Theorem과 Reproducing Kernel Hilbert Spaces(RKHS) 프레임워크가 어텐션의 행동을 완전히 설명한다는 주장. 왜 특정 공식에선 어텐션이 음수가 될 수 없는지, 왜 softmax가 아키텍처 선택이 아닌 수학적 필연인지 이론적으로 규명. 전통 커널 방법론과 현대 트랜스포머를 잇는 해석.

• •어텐션 스코어 QKᵀ = 커널 평가라는 수학적 관점
• •70년 된 Mercer's Theorem + RKHS 프레임워크와 연결
• •softmax가 아키텍처 선택이 아닌 수학적 필연임을 입증
• •특정 공식에서 어텐션이 음수가 될 수 없는 이유 설명
• •전통 커널 방법론과 트랜스포머의 이론적 교량