멀티태스크 학습 환경에서 특정 학습 데이터를 모델에서 제거하는 '멀티태스크 언러닝' 문제를 연구했다. 공유 파라미터로 인해 망각 대상 인스턴스와 유지 인스턴스 간 태스크 수준·인스턴스 수준 간섭이 발생하는 문제를 확인했다. 이를 해결하기 위해 태스크 인식 그래디언트 투영과 인스턴스 수준 그래디언트 직교화를 결합한 간섭 인식 프레임워크를 제안했다. 두 멀티태스크 컴퓨터 비전 벤치마크에서 완전 태스크 언러닝 30.3%, 부분 태스크 언러닝 52.9%의 UIS 감소를 달성했다.
- •멀티태스크 설정에서 언러닝 시 공유 파라미터로 인한 태스크 간·인스턴스 간 간섭 문제 규명
- •태스크 인식 그래디언트 투영으로 업데이트를 태스크별 부분공간 내로 제한해 간섭 완화
- •인스턴스 수준 그래디언트 직교화로 망각 신호와 유지 신호 간 충돌을 효과적으로 감소
- •완전 태스크 언러닝 30.3%, 부분 태스크 언러닝 52.9% UIS 감소로 최강 기준선 대비 개선
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Interference-Aware Multi-Task Unlearning
- 1.멀티태스크 설정에서 특정 학습 데이터를 제거하면 다른 태스크에 간섭이 발생하는 문제 분석
- 2.전체 태스크 언러닝과 부분 태스크 언러닝 두 가지 설정 도입, 태스크 간 공유 파라미터 발생 간섭 가시화
- 3.태스크 인식 경사 투영과 인스턴스 수준 경사 직교화로 UIS 최대 52.9% 감소
왜 중요한가?
프라이버시·규제 요건으로 특정 훈련 데이터 기여를 선택적으로 제거해야 하는 수요가 늘어나는 가운데, 공유 백본 아키텍처에서 이를 안전하게 수행하는 방법론을 제시한다.
본문 미리보기
arXiv:2605.19042v1 Announce Type: new Abstract: Machine unlearning aims to remove the contribution of designated training data from a trained model while preserving performance on the remaining data. Existing work mainly focuses on single-task settings, whereas modern models often operate in multi-task setups with shared backbones, where removing supervision for one task or instance can unintentionally affect others. We introduce multi-task unlearning with two settings: full-task unlearning, wh
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:10AI 초안
