이 논문은 사전학습된 트랜스포머 기반 인식 모델을 새로운 환경에 배치할 때 정확도가 저하되고, 다수결 같은 결합 방식이 조율된 공격에 취약하다는 문제를 다룬다. 저자들은 각 모델의 학습 임베딩으로 구성한 레이블 벡터 풀(LVP)을 이용해 도메인 지식 없이도 벡터 공간 기하 구조만으로 오류 탐지 규칙을 학습할 수 있음을 보였으며, 이는 손수 작성한 도메인 지식 규칙과 F1 기준 0.002 이내로 대등했다. 여러 불완전한 ViT 기반 탐지기의 융합을 정합성 기반 귀추 문제로 정식화해 테스트 시점에 정확한 정수계획법과 다항시간 휴리스틱으로 해결했다. 날씨가 변화한 15개 테스트셋과 6개 ViT 탐지기로 구성된 항공 영상 벤치마크에서, 90% 조율된 레이블 플립 공격 시 평균 F1 0.42로 다수결(0.35) 대비 22% 상대적 향상을 보였고 플립율 0.4 초과 시 모든 테스트셋에서 최고 성능을 기록했다.
- •도메인 지식 없이 레이블 벡터 풀(LVP)의 기하 구조만으로 오류 탐지 규칙 학습, 기존 규칙과 F1 0.002 이내 대등
- •다중 ViT 탐지기 융합을 정합성 기반 귀추 문제로 정식화, 정수계획법과 다항시간 휴리스틱으로 해결
- •15개 날씨 변화 테스트셋·6개 ViT 탐지기 항공 영상 벤치마크에서 검증
- •90% 조율된 레이블 플립 공격에서 평균 F1 0.42로 다수결(0.35) 대비 22% 상대적 향상
- •플립율 0.4 초과 구간 모든 테스트셋에서 최고 성능, 깨끗한 데이터에서도 최강 다수결과 대등
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Adversarially Robust Abductive Fusion of Pre-trained Transformer-based Perception Models
본문 미리보기
arXiv:2608.04190v1 Announce Type: new Abstract: Deploying pre-trained perception models in novel environments degrades their accuracy under distributional shift, and assembling them alone does not recover it: combiners such as majority voting trade recall for precision and are brittle to coordinated failures. Prior metacognitive methods learn logical rules that flag a model's errors, but rely on hand-authored domain-knowledge cues (object-size priors, segmentation masks) that do not transfer to
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:11AI 초안

