ServiceNow 연구진은 딥리서치 에이전트가 외부 웹 검색을 수행할 때 사내 비공개 정보를 단편적으로 흘려 관찰자가 이를 재조합해 비밀을 복원하는 '모자이크 효과' 위험을 측정하는 벤치마크 MosaicLeaks를 공개했다. 공개·비공개 정보를 교차하는 1,001개 멀티홉 추론 체인으로 구성되며, 의도·답변·전체정보 누출 세 가지를 평가한다. 단순히 과제 성능만 높이도록 학습하면 누출이 34.0%에서 51.7%로 오히려 악화됐고, 검색을 하지 말라는 프롬프트만으로는 효과가 미미했다. 이에 단계별 상황 보상과 Qwen3-4B 분류기 기반 프라이버시 보상을 결합한 강화학습 기법 PA-DR을 제안해 엄격 체인 성공률을 48.7%에서 58.7%로 유지하면서 답변/전체정보 누출을 34.0%에서 9.9%로 낮췄다. 프라이버시는 프롬프트로 넣을 수 없고 학습으로 심어야 한다는 점을 실증한다.

• •MosaicLeaks는 비공개 사내 문서와 웹 검색을 결합한 딥리서치 에이전트의 쿼리 로그에서 비밀이 재조합되는 '모자이크 효과'를 측정하는 벤치마크로, 1,001개 멀티홉 체인(학습 559·검증 98·테스트 344)으로 구성된다.
• •누출을 의도 누출, 답변 누출, 전체정보 누출 세 단계로 구분해 적대자가 관찰한 쿼리 로그만으로 비공개 정보를 추론할 수 있는지 평가한다.
• •과제 성능만 높이는 학습은 성공률을 48.7%→59.3%로 올리지만 답변/전체정보 누출을 34.0%→51.7%로 함께 악화시켰다 — 더 정보가 풍부한 쿼리가 성능엔 이롭고 프라이버시엔 해롭다는 긴장이 핵심이다.
• •제안 기법 PA-DR은 단계별 상황 보상과 Qwen3-4B 분류기 기반 프라이버시 보상을 결합해 엄격 체인 성공률 58.7%를 유지하면서 누출을 9.9%로 낮춰, 원래 베이스 모델의 34.0%보다도 낮은 수치를 달성했다.
• •상황 보상은 전체 롤아웃을 한 번에 채점하는 대신 같은 단계·홉의 호출끼리 비교해 신용을 정밀하게 배분하며, 결과 보상 대비 약 5~6배 적은 샘플로 동일 성능에 도달한다.