연구진은 미니배치 내 예제 간 관계를 매칭해 교사 모델의 표현 기하구조를 전달하는 관계 증류(relational distillation)의 계산 비효율 문제를 해결하기 위해 RAPID(Reliability-Aware Pair Importance Distillation)를 제안했다. RAPID는 신뢰도 게이팅된 관계 타깃과 전체 지원 적응형 쌍 제안을 분리하며, 역제안 보정을 통해 손실과 그래디언트 추정치를 조건부 불편향으로 유지한다. AG News(BERT→DistilBERT)와 SST-2(DistilBERT→DistilBERT) 텍스트 분류 실험에서 신뢰도 게이팅 방식이 두 데이터셋 모두 최고 정확도(각각 94.285%, 88.800%)를 기록했으며, RAPID는 근소한 차이로 2위(94.241%, 88.685%)를 차지해 교차 엔트로피 baseline(94.154%, 87.271%)을 능가했다.

• •관계 증류의 이차 복잡도 문제를 신뢰도 게이팅과 적응형 쌍 제안 분리로 해결
• •역제안 보정으로 손실·그래디언트 추정치의 조건부 불편향성 확보
• •AG News, SST-2 두 데이터셋에서 신뢰도 게이팅 방식이 최고 정확도 기록
• •RAPID는 근소한 차이로 2위, 교차 엔트로피 baseline 대비 우수한 성능
• •타깃 신뢰도와 평가 우선순위가 서로 독립적인 설계 요소임을 실증