LLM이 개별 사실이 아니라 공유 잠재 구조를 통해 메모리를 갱신한다는 '리프티드 표현 가설(lifted representation hypothesis)'을 제안한 연구다. 리프팅은 인스턴스 간 대칭성을 활용한 효율적 일반화, 섀터링(shattering)은 거친 리프티드 구조를 더 구체적인 하위 유형으로 정제하는 과정으로 정의된다. 인컨텍스트 학습, LoRA, 전체 파인튜닝에 걸친 통제된 예외 학습 실험으로 두 과정을 평가한 결과, 데이터가 중첩된 규칙과 예외로 구성될 때 LLM은 섀터링 실패에 취약했고 리프팅은 종종 조기에(과잉 일반화로) 발생했다. 규칙과 예외가 섞인 데이터에서 LLM의 지식 갱신이 어떻게 실패하는지 보여주는 결과로, 데이터 구조와 규칙 구조의 관계 연구 필요성을 제기한다.
- •LLM이 개별 사실이 아닌 공유 잠재 구조로 메모리를 갱신한다는 리프티드 표현 가설 제안
- •리프팅=인스턴스 간 대칭성 활용 일반화, 쉐터링=거친 구조의 하위 유형 정제
- •ICL·LoRA·전체 파인튜닝에서 통제된 예외 학습 실험 수행
- •중첩 규칙·예외 데이터에서 쉐터링 실패 취약, 리프팅은 조기 과잉 일반화 경향 확인
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Lifted Representation Hypothesis in Language Models
- 1.LLM이 개별 사실이 아닌 공유 잠재 구조로 메모리를 갱신한다는 '리프티드 표현 가설' 제안
- 2.일반화(lifting)와 세분화(shattering) 개념으로 규칙 저장·수정 과정을 프레임화
- 3.ICL·LoRA·전체 파인튜닝에 걸친 통제된 예외 학습 실험으로 가설 검증
- 4.중첩된 규칙·예외 구조에서 세분화 실패에 취약하고 조기 일반화가 빈번함을 발견
왜 중요한가?
LLM이 예외가 있는 규칙 체계를 학습할 때 규칙을 성급하게 일반화하고 예외 세분화에 실패한다는 결과는, 지식 편집·지속 학습 시스템이 인스턴스 단위가 아닌 규칙 구조 단위로 설계돼야 함을 시사한다. 파인튜닝 방식별로 실패 양상을 비교한 점이 실무에 유용하다.
본문 미리보기
arXiv:2607.19360v1 Announce Type: new Abstract: Large language models (LLMs) often answer queries by mapping individual observations to more general rule-like structures. However, it remains unclear how these structures are stored, selected, and revised. To study this process, we propose thelifted representation hypothesis: LLMs update memory through shared latent structures rather than isolated instance-level facts. This view frames lifting as an efficient use of symmetry across instances, and
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:40AI 초안

