프린스턴대, 이전 계산 결과 이어서 토큰 생성하는 '순환 루프 변환기' 공개 | AIChainDay

한국어 요약by Claude · 2026. 9. 15.

프린스턴대 연구진이 디코더의 최종 은닉 상태와 어텐션 캐시를 다음 토큰 계산에 직접 연결하는 새로운 아키텍처 '순환 루프 변환기(RLT)'를 알파카이브를 통해 공개했다. 기존 트랜스포머가 토큰당 고정된 레이어만 거치는 것과 달리, RLT는 처리한 토큰이 누적될수록 연산 경로가 길어지는 '시간적 깊이'를 구현해 계산의 연속성을 유지한다. 인코더와 순환 디코더를 결합하고 슬라이딩 윈도우 어텐션을 활용했으며, 강화학습 시 과거 매개변수의 은닉 상태 재사용 문제도 차단했다. 다만 연구진은 이번 연구가 설계 단계에 머물러 있으며, 실제 추론 성능이나 속도 개선을 입증하지는 못했다고 밝혔다.

•프린스턴대, 디코더 최종 은닉 상태·어텐션 캐시를 다음 토큰 계산에 직결하는 'RLT' 아키텍처 공개
•처리 토큰이 누적될수록 연산 경로가 길어지는 '시간적 깊이' 구현, 48레이어 기준 t개 토큰 처리시 48t번 연산
•인코더의 병렬 처리와 순환 디코더의 순차 처리를 결합, 슬라이딩 윈도우 어텐션 활용
•강화학습 시 과거 매개변수의 은닉 상태 재사용 문제를 차단하도록 설계
•연구진 스스로 설계 단계 연구임을 명시, 실제 추론 성능·속도 개선은 아직 입증되지 않음

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 14일AI 점수: 90%

프린스턴대, 이전 계산 결과 이어서 토큰 생성하는 '순환 루프 변환기' 공개

출처:AI 타임스

AI 인사이트

개발자

1.프린스턴대, 디코더 최종 은닉 상태와 어텐션 캐시를 다음 토큰 계산에 직결하는 '순환 루프 변환기(RLT)' 공개
2.프롬프트 입력부터 응답 생성까지 내부 상태를 초기화하지 않고 하나의 연속된 흐름으로 처리
3.인코더·디코더 각 48개 레이어 구조에서 토큰 t개 처리 시 연산 경로가 48t번까지 늘어나는 '무한 깊이' 구현
4.학습 길이보다 긴 시퀀스에서는 정확도가 떨어져 GRU보다 일반화 성능이 낮은 한계도 확인됨

왜 중요한가?

기존 디코더 전용 LLM이 이전 계산 결과를 KV 캐시로만 참조해 맥락 정보가 손실되던 한계를 계산 연쇄 자체를 이어붙이는 방식으로 접근한 설계 단계 연구로, 아직 실제 추론 성능 개선을 입증하지는 못했다는 점도 함께 짚어야 한다.

언급 프로젝트

프린스턴대학 RLT

본문 미리보기

대형언어모델(LLM)의 이전 계산 결과를 다음 토큰 생성에 직접 연결하는 새로운 트랜스포머 아키텍처가 제안됐다.프린스턴대학 연구진은 12일(현지시간) 토큰 처리 후 생성된 디코더의 최종 은닉 상태와 어텐션 캐시를 다음 단계로 전달하도록 설계한 '순환 루프 변환기(RLT·Recurrent Looped Transformer)' 아키텍처를 알파카이브(alphaXiv)를 통해 공개했다.기존 디코더 전용 LLM은 이전 토큰 정보를 KV 캐시에 저장한 뒤 어텐션으로 재참조할 뿐, 마지막 계산 결과를 다음 단계의 첫 입력으로 직결하지 않는다.

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기