셀프어텐션은 시퀀스 길이에 따라 계산량이 제곱으로 늘어나 장문 시퀀스 모델링의 핵심 난제로 남아 있다. 맘바(Mamba)는 선택적 상태공간 순환으로 선형 시간 대안을 제공하지만, 대각 위주의 상태 전이 구조 때문에 상태 차원 간 명시적 상호작용이 제한된다. 연구진은 3노드 네트워크 모티프의 동역학에서 착안해, 은닉 상태를 압축된 동역학적 부분공간으로 투영하고 모티프 유도 상호작용을 부과한 뒤 원래 상태공간으로 되돌리는 저랭크 순환 경로를 맘바에 추가한 '모티프-맘바(Motif-Mamba)'를 제안했다. 이 구조는 맘바의 선형 시간 순환 구조를 유지하면서 차원 간 소통을 강화하며, 장시퀀스 외삽, 언어모델링 벤치마크, 뇌-컴퓨터 인터페이스 디코딩 실험에서 기존 맘바 백본 대비 일관된 성능 향상을 보였다.
- •맙바(Mamba)의 대각 위주 상태 전이가 상태 차원 간 상호작용을 제한한다는 한계 지적
- •3노드 네트워크 모티프 동역학에서 착안한 모티프 제약 저랭크 순환 경로를 맙바에 추가
- •은닉 상태를 압축된 부분공간으로 투영→모티프 유도 상호작용 부과→원 상태공간 복원 구조
- •맙바의 선형 시간 순환 구조를 유지하면서 차원 간 소통(cross-dimensional communication) 강화
- •장시퀀스 외삽·언어모델링·뇌-컴퓨터 인터페이스 디코딩 실험에서 기존 맙바 백본 대비 일관된 성능 향상, NeurIPS 2026 제출
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Motif-Mamba: network motif improved mamba for long-range sequence modeling
본문 미리보기
arXiv:2608.00027v1 Announce Type: new Abstract: Efficient long-sequence modeling remains a central challenge for large language models, as self-attention scales quadratically with sequence length. Mamba offers a linear-time alternative through selective state space recurrence, but its predominantly diagonal state transitions restrict explicit interactions among state dimensions. We propose Motif-Mamba, a structured state space model that augments Mamba with a motif-constrained low-rank recurren
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:11AI 초안

