사카나 AI가 딥러닝의 핵심 학습 방식인 역전파 없이도 최대 1000개 레이어의 깊은 신경망을 학습할 수 있는 새 기법 'PC-ALM(Augmented Lagrangian Predictive Coding)'을 공개했다. 기존 예측 코딩(PC) 방식은 레이어가 많고 폭이 좁을 때 학습 신호가 약해지는 한계가 있었지만, PC-ALM은 각 레이어의 예측 오차를 누적해 전달함으로써 신호가 빠르게 전파되는 '탄도형' 구조를 구현했다. 폭 32의 1000개 레이어 잔차형 신경망 실험에서 PC-ALM은 역전파 대비 약 2%포인트 이내의 성능 차이를 보였고, ResNet-18 기반 CIFAR-10·Tiny ImageNet 실험에서도 기존 예측 코딩보다 우수한 성능을 나타냈다. 이론 분석에서는 PC-ALM이 안정적으로 수렴할 경우 각 레이어의 라그랑주 승수가 역전파의 그래디언트 신호와 정확히 대응하는 것으로 확인됐다. 다만 현재는 소규모 이미지 분류 실험에 국한된 연구 단계이며 기존 예측 코딩보다 메모리 사용량이 많다는 한계가 있다.

• •역전파 없이 최대 1000개 레이어 신경망을 학습하는 'PC-ALM' 공개
• •레이어별 예측 오차를 누적 전달하는 '탄도형' 신호 전파로 기존 PC 한계 극복
• •1000레이어 MNIST 실험에서 역전파 대비 약 2%포인트 이내 성능 차이
• •CIFAR-10·Tiny ImageNet 실험에서 기존 예측 코딩 대비 우수한 성능
• •이론적으로 라그랑주 승수가 역전파 그래디언트와 대응, 다만 메모리 사용량은 더 많음