신규 벤치마크 SAFE는 프런티어 모델이 행동에 나서기 전 안전 관련 증거를 스스로 조회하는지 측정한다. GPT-5.5, o3, Claude Opus 4.8, Claude Sonnet 4.6을 비교한 결과 증거 조회 성향은 모델마다 뚜렷이 달랐다: Opus는 거의 기본적으로 증거를 확인하는 반면 o3는 가장 자주 건너뛰며 임계값에 민감했고, GPT-5.5와 Sonnet은 중간 수준을 보였다. 조회 여부는 피해의 심각성이 클수록 늘고 조회 비용이 클수록 줄었지만, 사건 발생 확률은 10%에서 70%로 올려도 조회 행동이 최대 21%포인트만 변할 정도로 영향이 약했다. 반면 모델이 스스로 밝힌 근거는 대부분 기대값 계산을 내세웠고, 실제로 행동을 크게 바꾼 증거 제시 방식은 설명에서 거의 언급되지 않는 등 행동과 설명 사이의 불일치도 확인됐다. 이는 배포 시점의 안전성이 알려진 위험에 대한 대응뿐 아니라, 안전을 확인할 증거를 스스로 찾는지 여부에도 달려 있음을 시사한다.

• •SAFE 벤치마크로 GPT-5.5, o3, Claude Opus 4.8, Sonnet 4.6의 사전 증거 조회 행동을 비교
• •Opus는 거의 항상 증거를 확인하지만 o3는 가장 자주 건너뛰는 등 모델별 정책 차이가 뚜렷함
• •조회 여부는 피해 심각성과 조회 비용에 크게 좌우되고 확률 정보의 영향은 미미함(최대 21%p)
• •모델의 설명은 기대값 논리를 내세우지만 실제 행동을 바꾼 요인(증거 제시 방식)은 설명에 잘 등장하지 않음