스케일AI가 한국AI안전연구소와 공동 개발한 이중언어(영어-한국어) 적대적 안전성 벤치마크 'ROK-FORTRESS' 결과를 공개했다. 14개 프런티어 모델을 대상으로 CBRNE, 정치적 폭력, 범죄·금융, 정보 유출 등 4개 영역 1235개 과제를 평가한 결과, 한국어로 작성되고 한국 맥락에 맞춘 프롬프트가 영어 프롬프트보다 대체로 낮은 위해성 점수를 기록했다. 다만 역할극 등 정교한 위장 없이 직접 요청하면 이런 '한국어 완화 효과'는 대부분 사라졌고, 오픈소스 모델 5종은 오히려 한국어에서 더 잘 응답했다. 연구진은 번역만으로는 실제 안전성 격차를 제대로 측정할 수 없다며 문화적 맥락을 반영한 평가와 레드티밍이 필요하다고 강조했다.
- •14개 프런티어 모델 대상, 1235개 과제·4개 위험 영역(CBRNE·정치폭력·범죄금융·정보유출) 평가
- •한국어·한국 맥락 프롬프트가 영어 대비 위해성 점수 최대 9배 낮게 측정
- •위장 없이 직접 요청 시 한국어 완화 효과 대부분 소멸, 오픈소스 5종은 반대로 순응도 상승
- •언어 전환 효과가 지정학적 맥락 전환 효과보다 약 2.5배 커
- •공개 데이터셋 일부(791개 과제)를 CC-BY-4.0으로 Hugging Face에 공개
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Scale AI Reports ROK-FORTRESS Findings on Multilingual AI Safety
- 1.Scale AI, 한국AI안전연구소와 공동 개발한 영어-한국어 이중언어 적대적 안전 벤치마크 'ROK-FORTRESS' 결과 발표
- 2.14개 프론티어 모델 대부분에서 한국어·한국 맥락으로 각색한 프롬프트가 영어 프롬프트보다 유해 응답 비율 낮음
- 3.적대적 포장을 벗긴 '직접 요청' 조건에서는 한국어 우위가 대부분 사라져, 효과의 상당 부분이 프롬프트 특화 때문임을 시사
- 4.언어 전환 효과(약 10%p)가 지정학적 맥락 전환 효과(약 4%p)보다 2.5배 크게 나타남
왜 중요한가?
번역만 거친 프롬프트로는 드러나지 않는 언어·문화별 안전성 격차가 실제로 존재한다는 실증 결과로, 동맹국 정부나 현지 배포를 고려하는 조직이 영어 안전성 평가 결과만으로 안심할 수 없다는 점을 보여준다.
본문 미리보기
Scale AI on September 17, 2026 published findings from ROK-FORTRESS, a bilingual English–Korean adversarial safety benchmark developed jointly with the Korea AI Safety Institute, reporting that prompts written in Korean and grounded in Korean contexts were consistently associated with lower measured harm across nearly all 14 frontier models evaluated. Benchmark Design: The Transcreation Matrix Most multilingual safety benchmarks translate a fixed prompt into another language while keeping the…
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:53AI 초안
