FVH-Bench: Evaluating Image Generator Safety Beyond Overtly Harmful Imagery↗ (원문, 새 창)

이 연구는 이미지 생성 모델이 노골적으로 유해한 이미지는 거부하더라도, 다이어그램이나 인터페이스, 문서처럼 위험한 행동을 돕거나 기만을 지원하는 '기능적 시각 유해성(FVH)'은 여전히 만들어낼 수 있다는 문제를 제기한다. 이를 평가하기 위해 다섯 가지 유해 시각 기능과 열 개 위험 영역에 걸친 669개 프롬프트로 구성된 FVH-Bench를 도입했다. 11개 이미지 생성 모델을 평가한 결과 이들은 이런 요청을 거의 거부하지 않았고 목표한 유해 기능을 충족하는 결과물을 자주 생성했으며, 해당 유해 목적 달성도와 활용 가능성 점수도 높게 나타났다. 기존 안전 탐지기도 FVH를 충분히 포착하지 못해, 이미지 안전성 평가 시 내용뿐 아니라 그 이미지가 무엇을 가능하게 하는지도 함께 고려해야 함을 보여준다.

• 노골적 유해 콘텐츠가 아닌, 위험 행동을 돕는 '기능적 시각 유해성(FVH)' 개념 제시
• 5개 유해 기능·10개 위험 영역에 걸친 669개 프롬프트로 FVH-Bench 구축
• 11개 이미지 생성 모델이 유해 기능 요청을 거의 거부하지 않음을 확인
• 생성된 이미지의 유해 목적 달성도·활용 가능성 점수가 모두 높게 측정
• 기존 안전 탐지기도 FVH를 충분히 포착하지 못하는 한계 확인