사전학습된 언어모델의 어텐션을 대체하는 것은 호환성 문제로, 그럴듯한 대체재가 후속 레이어가 기대하는 표현을 바꿔버릴 수 있다. TinyCeNN-LM은 CeNN에서 영감을 받은 셀룰러-순환 레이어를 사용해 제한된 국소 처리, 압축된 순환 메모리, 라우팅, 융합, 수락-또는-롤백 검증을 결합한 '품질 게이트형 사후학습 변환' 프레임워크를 도입한다. Integrated Memory, MemoryFusion, PDelta3-GDN2-CLVR+Local32 세 가지 구현을 연구했으며, 엄격한 PDelta3 변환은 표현·NLL 기준이 고정 임계값을 통과할 때만 레이어를 수락한다. SmolLM2-135M에서는 0~2번 레이어가 누적 ΔNLL=+0.01209로 수락됐지만 3번 레이어는 NLL은 양호해도 표현 충실도 실패로 거부됐다. Qwen3.5-0.8B에서는 전체 어텐션 3·7·11번 레이어가 최종 ΔNLL=+0.02073으로 수락됐다. Integrated Memory는 퍼플렉시티를 -0.07%~+0.93% 범위로 유지하면서 전체 캐시를 최대 6.01% 줄였고, 200개 샘플 다운스트림 점검에서 변환된 Qwen 모델은 28.5~32.0%의 정확도를 보였다. 결과는 전면적인 어텐션 대체나 속도 향상보다는 보수적이고 품질 게이트형인 구조적 변환을 지지한다.

• •TinyCeNN-LM은 CeNN 기반 셀룰러-순환 레이어와 수락-또는-롤백 검증을 결합한 품질 게이트형 사후학습 변환 프레임워크다
• •SmolLM2-135M에서 0~2번 레이어는 수락되었지만 3번 레이어는 표현 충실도 실패로 거부됐다
• •Qwen3.5-0.8B에서는 3·7·11번 레이어가 수락됐고 Integrated Memory는 캐시를 최대 6.01% 줄였다
• •결과는 전면적 어텐션 대체보다 보수적이고 품질 게이트된 부분 변환을 지지한다