언어모델의 모든 능력을 하나의 공유 파라미터로 업데이트하는 대신, 맥락 연산·영구 저장·정확한 실행을 분리하는 'FEM-ASM' 구조가 탐구됐다. 유한요소법에서 착안해, 독립적으로 구성된 문서 상태와 결정론적 실행 스킬이 공유 언어모델 상태에 타입이 있는 제안을 올리고, 잔차 연산자가 공통 인터페이스 노드에서 이를 조정하는 방식이다. 어텐션이 없는 프로토타입은 인과적 언어 모델링을 학습했지만 일반 성능 경쟁력은 확보하지 못했고, 170억 부동소수점 값 규모의 저장소에서 재구성 정확도는 약 75%에 그쳤다. 연구진은 긍정적 결과보다 저장·실행·신경 조정 분리의 타당성과 함께 질의 전용 검색, 무제한 답변 생성, 종단간 효율성 등 미해결 한계를 함께 제시했다.
- •맥락 연산·영구 저장·정확한 실행을 분리하는 유한요소법 영감 구조 FEM-ASM 제안
- •어텐션 없는 프로토타입은 언어모델링은 학습했으나 경쟁력 있는 일반 성능은 미확보
- •170억 값 규모 저장소에서 재구성 정확도 약 75%에 그침
- •긍정적 결과와 함께 질의 전용 검색·종단간 효율성 등 미해결 한계를 명시적으로 제시
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Beyond the Parameter Monolith: Reconstructive Memories, Executable Skills, and Residual Assembly for Language Models
- 1.언어모델의 맥락 계산·영속 저장·정확한 실행을 단일 파라미터 대신 분리하는 FEM-ASM 구조 제안
- 2.독립 구성된 문서 상태와 결정론적 실행 스킬이 공유 인터페이스에 제안을 보내고 잔차 연산자가 조정
- 3.어텐션 없는 Multi-Mesh 프로토타입은 언어모델링은 학습하나 경쟁력 있는 범용 능력엔 미달
- 4.52,809개 재구성 메모리 요소(17억 부동소수 예산 근처) 저장했으나 재구성 정확도는 약 75%
왜 중요한가?
모든 지식을 단일 파라미터 집합에 녹이는 대신 저장·실행·신경망 조정을 분리하는 아키텍처의 가능성과 한계를 솔직히 제시한 탐색적 연구로, 거대 단일 모델의 대안 설계 방향을 모색하는 데 참고가 된다.
언급 프로젝트
본문 미리보기
arXiv:2610.04012v1 Announce Type: new Abstract: Language-model systems can separate contextual computation, persistent storage, and exact execution instead of updating all capabilities through one shared parameter system. We investigate FEM-ASM, a finite-element-method-inspired organization in which independently constructed document states and deterministic executable skills contribute typed proposals to a shared language-model state. An explicit residual operator reconciles proposals attached
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안
