AIarXiv cs.CR (암호학·보안)AI 점수 90%
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
The Missing Compliance Class: LLM Graders That Collapse Jailbreak Success, and a Free Check (원문, 새 창)
AI 인사이트
대상 독자:개발자
- 잘브레이크 공격성공률(ASR)이 타깃 모델이 아닌 '채점 모델(grader)'에 의해 크게 좌우됨을 실증 — 모델·프롬프트·응답은 고정
- 8B·9B급 채점 모델 3개가 순응 응답을 회피 클래스로 뭉뚱그려, 그중 하나는 900개 응답 중 순응 라벨을 한 번도 부여하지 않음
- 900개 응답·8개 채점기 비교에서 순응률이 채점기에 따라 최대 22~25배 차이, 문제 채점기 3개를 빼도 1.7~2.8배 차이 지속
- 순응률에 클래스별 라벨 수와 채점기 이름을 함께 쓰는 최소 보고 기준과 비거부율 병기를 제안
왜 중요한가
잘브레이크 연구에서 공격성공률은 흔히 타깃 모델의 속성으로 해석되는데, 같은 모델·응답에도 채점기만 바꾸면 수치가 수십 배 달라질 수 있음을 보여 지금까지의 잘브레이크 안전성 비교 결과들의 신뢰성에 근본적 의문을 제기한다.
본문 미리보기
arXiv:2610.24872v1 Announce Type: new Abstract: Jailbreak papers report an attack success rate, the share of responses that deliver the harmful request, and read it as a property of the target model. We hold the target model, the prompts and the responses fixed and change only the grader. Three dense graders of 8B and 9B parameters, from three model families, move compliant responses to the neighbouring class, evasion, instead of scattering them across classes. One of them assigns the complianc
전체 내용이 궁금하다면?
arXiv cs.CR (암호학·보안)에서 원문을 직접 읽어보세요
공유
- #탈옥평가
- #LLM채점자
- #벤치마크오류
- #AI안전성
이 글이 만들어진 과정
- 11:24AI 초안