Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems↗ (원문, 새 창)

연구팀은 여러 문서에 흩어진 정보를 LLM 에이전트가 조합해 민감한 결론을 유출하는 '모자이크 효과'를 정량적으로 검증했다. 사이버보안·의료·군사 분야 30개 합성 시나리오로 3개 LLM 에이전트에서 10,800개, 실제 오픈소스 하네스 2종에서 1,440개 응답을 분석한 결과, 최고 성능 모델인 GPT-5.6-Sol도 단일 문서로 답변 가능한 선의의 질의에서도 7.08%의 금지된 조합 정보를 유출했다. 분류 헤더와 집계 규칙 같은 안전장치를 추가해도 전체 의도에서 32.37%의 응답이 여전히 안전하지 않게 정보를 유출했다. 답변 거부가 늘어도 상당수 거부 응답 자체가 금지된 결론을 드러내 기밀성을 보장하지 못하는 것으로 나타났다.

• 여러 문서의 정보를 조합해 민감한 결론을 유출하는 '모자이크 효과'를 대규모로 정량화
• 최고 성능 모델 GPT-5.6-Sol도 선의의 질의에서 7.08% 비율로 금지된 정보 조합 유출
• 분류 헤더·집계 규칙 같은 안전장치 적용 후에도 32.37% 응답이 여전히 위험하게 유출
• 거부 응답 자체도 금지된 결론을 드러내는 경우가 많아 거부 증가가 안전을 보장하지 않음