현재 LLM은 병렬 추론 경로들이 서로 상호작용하지 않고 같은 방식으로 중복 실패한다. LACE는 모델 아키텍처를 재활용해 크로스-스레드 어텐션을 가능케 해 동시 추론 경로들이 중간 통찰을 공유하고 서로 오류를 교정할 수 있게 한다. 협력 행동을 가르치는 자연 훈련 데이터가 없는 문제를 합성 데이터 파이프라인으로 해결. 실험에서 표준 병렬 검색 대비 추론 정확도 7점 이상 향상.
- •LACE — 크로스-스레드 어텐션으로 병렬 추론 경로 간 상호작용 가능
- •독립 병렬 샘플링의 중복 실패 문제 해결
- •동시 스레드 간 중간 통찰 공유 + 상호 오류 교정
- •협력 학습용 합성 데이터 파이프라인 제공
- •표준 병렬 검색 대비 정확도 +7점 이상
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
LACE: Lattice Attention for Cross-thread Exploration
- 1.병렬 추론을 독립 샘플링에서 협력 탐색으로 전환
- 2.크로스-스레드 어텐션이 중복 실패 제거
- 3.추론 정확도 +7점 향상
왜 중요한가?
추론 모델(o3·DeepSeek-R1 등)의 병렬 샘플링이 표준이 된 상황에서 LACE는 샘플링 경로 간 협력으로 동일 연산 비용에 더 큰 이득을 얻는 구조적 개선.
언급 프로젝트
본문 미리보기
arXiv:2604.15529v1 Announce Type: new Abstract: Current large language models reason in isolation. Although it is common to sample multiple reasoning paths in parallel, these trajectories do not interact, and often fail in the same redundant ways. We introduce LACE, a framework that transforms reasoning from a collection of independent trials into a coordinated, parallel process. By repurposing the model architecture to enable cross-thread attention, LACE allows concurrent reasoning paths to sh
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:32AI 초안
