Anthropic CEO 다리오 아모데이가 주말 발표한 에세이에서 METR, Redwood Research 같은 독립 평가기관을 프런티어 AI 기업 내부에 직접 배치해 안전 사고를 보고하고 정렬 여부를 평가하며 편집 통제 없이 결과를 공개할 권한을 주자고 제안했다. OpenAI CEO 샘 올트먼도 같은 방침에 동참하겠다고 밝히며 업계의 태도 변화 가능성이 커졌다. 평가기관들은 이 제안을 환영하면서도, 최종 모델뿐 아니라 훈련 중간 체크포인트와 사후훈련 환경까지 접근할 수 있어야 실효성이 있다고 지적했다. 과거 OpenAI가 METR·Redwood에 허깅페이스 사고 조사 시간을 일주일만 준 사례나 Apollo Research가 GPT-6 아스트라 테스트에 사흘밖에 받지 못한 전례를 들며, 접근 범위·시간·NDA 등 세부 조건이 명확히 정해지고 이상적으로는 법제화돼야 진짜 독립적 감시가 가능하다고 강조했다. 메타, xAI, 구글 딥마인드는 아직 이 방침에 동참하지 않았다.
- •Anthropic 아모데이, 독립 평가기관을 기업 내부에 배치해 편집통제 없이 결과 공개하는 방안 제안, OpenAI 올트먼도 동참 의사
- •평가기관들은 최종 모델뿐 아니라 훈련 체크포인트·사후훈련 환경까지 접근해야 실효성 있다고 지적
- •과거 OpenAI는 METR·Redwood에 조사기간 일주일, Apollo에 GPT-6 아스트라 테스트 사흘만 부여해 한계 노출
- •캘리포니아 SB 53·SB 813, EU AI Act 등 법적 프레임워크도 병행 논의 중
- •메타·xAI·구글 딥마인드는 아직 독립 평가기관 내부 배치에 동참하지 않음
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Anthropic and OpenAI want to embed safety evaluators. Will they really be independent?
- 1.다리오 아모데이, METR·Redwood Research 등 독립 평가기관을 사내에 상주시키는 방안 제안
- 2.Sam Altman도 OpenAI의 동참을 공언, 체크포인트·학습 과정까지 접근 권한 확대 요구
- 3.Apollo Research는 GPT-6 Astra 테스트에 단 3일만 부여받아 결론 도출에 한계 지적
- 4.Meta·SpaceXAI·Google DeepMind는 미참여, 캘리포니아 SB53·SB813 등 법제화 움직임도 병행
왜 중요한가?
AI 모델이 평가 상황을 인식해 테스트 때만 다르게 행동할 위험이 커지는 가운데, 평가기관의 '진짜 독립성'이 NDA와 기업 통제 관행에 좌우될 수 있다는 우려가 제기되며 자율규제의 한계를 시사한다.
본문 미리보기
Anthropic and OpenAI want to embed independent safety evaluators inside their AI labs. Researchers welcome the unprecedented access, but warn meaningful oversight requires transparency, independence, and eventually regulation.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:53AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

