PyTorch 프로파일링 시리즈 3편으로, 어텐션을 프로파일러 트레이스로 뜯어보며 최적화를 이끄는 방법을 다룬다. 손으로 짠 나이브 어텐션(matmul·mul·mask·softmax·matmul)에서 out-of-place masked_fill이 숨은 Memcpy 커널을 만드는 것을 발견하고, masked_fill_로 바꿔 커널 하나를 제거한다. F.scaled_dot_product_attention의 math 백엔드는 FP32로 업캐스트해 텐서코어를 쓰지 않고 마스크를 매번 재생성해 순전파당 20개 커널을 띄우며 나이브 대비 3.7배 느린 '정확하지만 느린' 기준 구현임을 보인다. 반면 efficient(xformers fmha_cutlassF)·flash(FlashAttention-2)·cuDNN 백엔드는 bf16을 유지한 채 단일 융합 커널로 압축된다. Flash는 온칩에 타일을 유지해 점유율이 13%로 낮아 보여도 가장 빠르며, cuDNN은 문제별로 커널을 생성하지만 비용이 CPU 쪽으로 옮겨간다. 핵심 교훈은 '먼저 예상하고 트레이스를 열어 불일치를 파고들라'는 것이다.

• •out-of-place masked_fill이 숨은 Memcpy 커널을 만들며, masked_fill_ 인플레이스로 바꿀면 커널 제거
• •SDPA math 백엔드는 FP32 업캐스트·매번 마스크 재생성으로 20개 커널, 나이브 대비 3.7배 느린 기준 구현
• •efficient·flash·cuDNN은 bf16 유지 단일 융합 커널로 압축, 텔서코어 활용
• •FlashAttention-2는 온칩 타일 유지로 점유율 13%로 낮아 보여도 가장 빠름
• •cuDNN은 문제별 커널을 생성해 transpose가 없지만 비용이 CPU 측으로 이동