Pathway는 트랜스포머 이후 세대 아키텍처인 뇌 신경망 모사 모델 BDH(Baby Dragon Hatchling)를 Amazon SageMaker HyperPod에서 개발했다. BDH는 체인오브소트 토큰을 생성하는 대신 잠재 공간에서 반복 연산으로 추론하며, 뉴런의 약 5%만 활성화되는 희소 연결 구조로 연산 비용을 크게 줄인다. 추론 시스템 BDH-CQ는 ARC-AGI-1 벤치마크에서 과제당 0.0007달러 비용으로 pass@2 29.5%를 기록해 비용-정확도 파레토 프론티어를 새로 그었다. SageMaker HyperPod의 EFA 네트워크와 H200 GPU 클러스터가 분산 학습과 관측성을 지원했다. 토큰 생성 기반 추론의 비용 구조 자체를 바꿀 수 있는 대안 아키텍처로 주목된다.

• •BDH는 체인오브소트 토큰 없이 잠재 공간에서 반복 연산으로 추론하는 포스트 트랜스포머 아키텍처다
• •뉴런의 약 5%만 활성화되는 희소·국소 연결 구조로 연산과 메모리 사용량을 절감한다
• •BDH-CQ는 ARC-AGI-1에서 과제당 0.0007달러로 pass@2 29.5%를 달성, 비용 효율 신기록을 세웠다
• •Amazon SageMaker HyperPod의 H200 GPU 클러스터와 EFA 네트워크로 학습을 확장했다
• •고정 컨텍스트 창 한계 없이 추론 중 내부 메모리를 갱신해 장기 추론에 유리하다