구글이 싱가포르 AI 안전연구소, 오픈마인디드, AVERI, MLCommons와 협력해 세계 최초로 프런티어 AI 모델의 '이중맹검' 평가를 시범 운영한다고 밝혔다. 구글 클라우드의 컨피덴셜 스페이스를 활용해 평가기관은 제미나이 모델 가중치를, 구글은 평가기관의 비공개 테스트 프롬프트를 서로 볼 수 없게 암호학적으로 격리한다. 이는 모델이 벤치마크 문제를 사전에 학습해 점수가 부풀려지는 '벤치마크 오염'을 차단하기 위한 조치로, 첫 파일럿은 제미나이 플래시 라이트 모델을 대상으로 진행된다. 구글은 사이버보안 등 민감한 안전성 평가에서도 이 방식이 독립 검증의 신뢰성을 높일 것으로 기대했다.

• •구글, 싱가포르 AI안전연구소·오픈마인디드·AVERI·MLCommons와 이중맹검 평가 시범 운영
• •구글 클라우드 컴피덴셔 스페이스(기밀 컴퓨팅)로 모델 가중치와 평가 데이터를 상호 차단
• •목표는 모델이 벤치마크 문제를 미리 학습해 점수가 부풀려지는 '벤치마크 오염' 방지
• •첫 파일럷은 제미나이 플래시 라이트 모델을 비공개 벤치마크와 개인정보보호 환경에서 평가
• •사이버보안·국가 AI 안전성 평가 등 민감 영역의 독립 검증 신뢰성 제고에 활용 기대