바이트댄스·프린스턴대·칭화대·UCLA·하이퍼볼릭 랩스 공동 연구진이 순환형 AI 모델의 지속학습 성능을 높인 '고속 가중치 어텐션' 프레임워크 '팰컨(Falcon)'을 공개했다. 기존 순환형 모델(맘바, 델타넷 등)이 겪던 '시간적 정렬' 오류를 해결하기 위해 기억 업데이트 순서를 '읽은 뒤 쓰는' 방식으로 재설계했다. 파인웹-에듀 500억 토큰 학습 실험에서 팰컨-1.3은 검증 퍼플렉시티 17.10을 기록해 게이티드 델타넷(17.32)과 트랜스포머(17.38)를 앞섰고, 48자리 덧셈 실험에서는 정확도 69%로 트랜스포머(49%)를 20%포인트 앞질렀다. 다만 이 기억은 임시 기억으로 대규모 상용 LLM 확장은 향후 과제로 남았다.

• •바이트댄스 등 공동연구진, 순환형 모델 지속학습 개선한 '팰컨' 프레임워크 공개
• •기억 업데이트를 '읽은 뒤 쓰는' 방식으로 재설계해 '시간적 정렬' 오류 해결
• •파인웹-에듀 실험서 팰컨-1.3 퍼플렉시티 17.10, 게이티드 델타넷·트랜스포머 능가
• •48자리 덧셈 정확도 69%로 트랜스포머(49%)보다 20%포인트 높은 장기 문맥 유지력 입증
• •임시 기억(fast weight)만 다뤄 대규모 상용 LLM 확장은 향후 과제로 남음