ComMem은 생물학적 뇌의 보완적 기억 시스템(complementary memory systems)에서 착안해 비전-언어 모델(VLM)의 테스트타임 적응(TTA)을 개선한 프레임워크다. 기존 TTA가 지식을 누적하지 못하거나 단일 모달에 머무는 한계를 해결하기 위해, 해마처럼 고신뢰 테스트 샘플로 동적 시각 캐시를 만드는 빠른 세부 기억과, 신피질처럼 전역 텍스트 프로토타입을 점진적으로 정제하는 느린 추상 기억을 결합한다. 각 테스트 인스턴스마다 두 기억 시스템을 함께 최적화해 교차 모달 일관성을 확보한다. 15개 벤치마크 데이터셋 실험에서 자연 분포 변화와 교차 데이터셋 일반화 모두에서 최신 기법을 크게 앞섰다. 뇌의 이중 기억 구조를 모방한 빠른 시각 캐싱과 느린 텍스트 정제의 결합이 VLM의 실전 적응력을 높이는 유망한 방향임을 보여준다.
- •해마-신피질의 보완적 기억 시스템을 모방한 VLM 테스트타임 적응 프레임워크
- •고신뢰 샘플 기반 빠른 시각 캐시(해마) + 느린 전역 텍스트 프로토타입 정제(신피질) 결합
- •두 기억 시스템 공동 최적화로 교차 모달 일관성 확보
- •15개 벤치마크에서 분포 변화·교차 일반화 모두 최신 기법 능가
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
ComMem: Complementary Memory Systems for Test-Time Adaptation of Vision-Language Models
- 1.ComMem 제안: 해마-신피질의 상보적 기억 구조를 모방한 VLM 테스트타임 적응(TTA) 기법
- 2.고신뢰 샘플로 빠르게 적응하는 시각 캐시(해마 역할)와 느리게 통합되는 텍스트 프로토타입(신피질 역할) 결합
- 3.매 테스트 인스턴스마다 두 기억을 공동 최적화해 모달리티 간 일관성 보장
- 4.15개 벤치마크에서 자연 분포 변화·교차 데이터셋 일반화 모두 기존 최고 기법 능가
왜 중요한가?
기존 TTA가 지식을 누적하지 못하거나 단일 모달리티에 갇혀 있던 한계를, 빠른 기억과 느린 기억의 협력이라는 뇌과학적 구조로 동시에 해결했다. 배포 후 환경이 변하는 실제 서비스에서 VLM을 재훈련 없이 견고하게 유지하는 실용적 방향이다.
언급 프로젝트
본문 미리보기
arXiv:2606.28719v1 Announce Type: new Abstract: Test-time adaptation (TTA) of vision-language models (VLMs) is essential for their robust deployment in dynamic, real-world environments. However, existing TTA methods often adapt locally without accumulating knowledge over time, or operating within a single modality without exploiting VLMs' inherently multi-modal nature. Inspired by the \textbf{Com}plementary \textbf{Mem}ory systems of the biological brain, we propose \textbf{ComMem}, an innovati
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 11:40AI 초안
