구글 딥마인드가 싱가포르 AI 안전연구소, OpenMined, AVERI, MLCommons와 협력해 세계 최초로 이중맹검(double-blind) 방식의 프론티어 AI 모델 평가를 시범 도입했다고 밝혔다. 구글 클라우드의 컨피덴셜 컴퓨팅 기술인 '컨피덴셜 스페이스'를 활용해 평가 기관은 모델 가중치를, 구글은 평가용 테스트 프롬프트를 서로 볼 수 없는 암호화된 환경에서 제미나이 플래시 라이트 모델을 테스트했다. 이는 모델이 사전에 평가 문항을 학습해 점수를 왜곡하는 '벤치마크 오염' 문제를 근본적으로 차단하기 위한 조치다. 사이버보안 등 민감한 평가 영역에서 데이터 주권을 침해하지 않으면서도 독립적인 검증이 가능해져 업계 전반의 모델 신뢰도 제고에 기여할 것으로 기대된다.

• •싱가포르 AISI, OpenMined, AVERI, MLCommons와 공동으로 진행
• •구글 클라우드 '컨피덴셜 스페이스' 활용해 모델 가중치·테스트 프롬프트 상호 비공개 유지
• •대상 모델은 제미나이 플래시 라이트(Gemini Flash Lite)
• •벤치마크 오염(모델의 사전 문항 학습으로 인한 점수 왜곡) 방지가 핵심 목적
• •사이버보안 등 민감 분야 평가에서 데이터 주권 보장하며 독립 검증 가능