구글 딥마인드가 프론티어 AI 모델을 대상으로 처음으로 이중맹검(double-blind) 평가 방식을 시험하고 있다. 컨피덴셜 스페이스(Confidential Space)의 암호화 보호 기술을 활용해 구글은 평가 문항을 볼 수 없고, 평가자는 모델 가중치를 볼 수 없도록 설계했다. 싱가포르 AI 안전연구소와 공동으로 제미나이 플래시 라이트를 대상으로 진행 중인 이번 파일럿은 조작 불가능한 AI 벤치마크의 새로운 표준이 될 수 있다는 평가다.
- •구글 딜마인드, 프론티어 AI 모델 대상 첫 이중맹검 평가 시험
- •컴피덴셔을 스페이스로 평가 문항과 모델 가중치를 상호 비공개 처리
- •싱가포르 AI 안전연구소와 협력, 제미나이 플래시 라이트로 파일럷 진행
- •조작 방지형 AI 벤치마크의 새 표준 가능성 제시
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
AI benchmarks have a trust problem and Google wants to fix it

- 1.구글 딥마인드, 프런티어 AI 모델 최초로 이중맹검(double-blind) 평가 테스트 진행
- 2.Confidential Space로 암호화 보호 — 구글은 문제를 못 보고 평가자는 모델 가중치를 못 봐
- 3.싱가포르 AI Safety Institute와 시범 프로젝트, Gemini Flash Lite로 진행
- 4.변조 불가능한(tamper-proof) AI 벤치마크의 새 표준 될 가능성
왜 중요한가?
AI 벤치마크가 모델 개발사에 의해 조작되거나 사전 유출될 수 있다는 신뢰성 문제에 대응하는 첫 암호화 기반 이중맹검 평가 시도로, 향후 프런티어 모델 평가 방식의 표준을 바꿀 수 있다.
본문 미리보기
Google Deepmind is testing a double-blind evaluation of a frontier AI model for the first time. Cryptographic protection through Confidential Space is meant to keep Google from seeing the test questions and keep evaluators from seeing the model weights. The pilot project with the Singapore AI Safety Institute uses a Gemini Flash Lite and could set a new standard for tamper-proof AI benchmarks. The article AI benchmarks have a trust problem and Google wants to fix it appeared first on The Decoder
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:33AI 초안

![[10월8일] “수학 문제 4000개에 AI 투입해 성과”…오픈AI가 보여준 과학연구의 변화](https://cdn.aitimes.com/news/photo/202610/216072_220045_048.png)

