멀티버스 컴퓨팅 연구진이 대형언어모델의 트랜스포머 블록 제거(depth pruning)를 이징 글라스 최적화 문제로 재정의한 논문을 공개했다. 블록을 제거할지 남길지를 스핀 변수로 놓고 2차 테일러 전개로 얻은 헤시안 행렬의 비대각 항을 블록 간 상호작용(커플링)으로 활용해, 기존 방법들이 무시했던 블록 간 영향을 반영한다는 것이 핵심이다. 라마-3.3-70B-인스트럭트를 50% 압축하는 실험에서 기존 최고 성능 방법 대비 MMLU 점수를 약 23%포인트 끌어올렸으며, 최적해가 아닌 '들뜬 상태(excited state)'가 실제로는 가장 우수한 프루닝인 경우도 확인됐다. 대규모 조합 공간에서는 타부 탐색 등 고전·양자 영감 솔버로 몇 초 만에 양질의 해를 찾을 수 있어 연산 비용도 크게 줄었다. 이 기법은 맘바2·어텐션·MoE가 섞인 이종 아키텍처에도 재훈련 없이 그대로 적용 가능한 것으로 나타났다.

• •멀티버스 컴퓨팅, LLM 블록 제거를 이징 글라스 최적화 문제로 재정의한 새 프루닝 기법 발표
• •헤시안 행렬의 비대각 항으로 블록 간 상호작용을 반영, 기존 독립적 평가 방식의 한계를 극복
• •라마-3.3-70B 50% 압축 실험에서 기존 최고 방법 대비 MMLU 약 23%포인트 향상
• •최적해가 아닌 '들떠 상태'가 실제 최고 성능인 경우가 많아, 저비용 솔버로 다수 후보를 탐색하는 방식 채택
• •맙바2·어텐션·MoE가 혼합된 이종 아키텍처에도 재훈련 없이 적용 가능함을 확인