이 논문은 상업용 LLM API가 광고한 모델과 실제 서빙되는 모델이 몰래 교체·양자화·래핑됐는지를 감사하는 새로운 방법 'AgentProv'를 제안한다. 기존 감사 기법은 텍스트 출력 채널에 의존해 도구 호출 시 텍스트를 생략하는 에이전트형 API(OpenAI, Anthropic, Gemini 등)에서는 취약하고, 제공자가 삽입한 시스템 프롬프트가 텍스트 분포를 왜곡해 정직한 제공자를 오탐하는 문제가 있었다. AgentProv는 대신 모델 가중치에 내재화된 도구 호출 패턴(범주형 도구 호출 분포)을 지문으로 삼아 MMD 순열검정으로 신원을 판별하는 최초의 행동 기반 감사 기법이다. 630개의 체크포인트 쌍 평가에서 교체된 모델을 100% 탐지했고, 시스템 프롬프트 주입 상황에서도 위양성률을 7%로 억제해 기존 기법(MET 67%, RUT 53%)보다 크게 우수했다.

• •AgentProv, LLM API의 실제 서빙 모델 교체·양자화 여부를 감사하는 최초의 행동(도구호출) 기반 기법
• •도구 호출 범주형 분포를 지문으로 삼아 MMD 순열검정으로 모델 신원 판별
• •630개 체크포인트 쌍 평가에서 교체 모델 탐지율 100% 달성
• •시스템 프롬프트 주입 상황에서 위양성률 7%로 기존 기법(MET 67%, RUT 53%) 대비 대폭 개선