MAR-12는 유머와 혐오가 공존하는 인터넷 밈을 VLM(비전-언어 모델)으로 탐지·해석하는 설명가능 프레임워크다. 유머·혐오 이론에서 도출한 12가지 구조화된 관점으로 밈을 해석한 뒤, 역할 인지 soft-gated 어텐션으로 관점별 기여도를 학습하고 프로토타입 기반 분류기로 최종 판정한다. 관점별 추론과 학습된 어텐션 가중치를 결합해 투명하고 맥락에 근거한 설명을 생성한다. PrideMM·Memotion 데이터셋에서 유머 탐지 최대 80.3%, 혐오 탐지 75.9% 정확도로 기존 최고 성능을 넘었고, 인간 및 GPT-4 평가에서 특히 유머·유해 단서가 겹치는 밈에 대해 일관되고 설득력 있는 설명을 생성함이 확인됐다. 콘텐츠 모더레이션에서 판정 근거까지 요구되는 흐름에 부합하는 접근이다.
- •유머·혐오 이론 기반 12가지 구조화 관점으로 밋을 다각도 해석
- •역할 인지 soft-gated 어텐션이 관점별 기여도를 학습, 프로토타입 분류기로 판정
- •PrideMM·Memotion에서 유머 탐지 80.3%, 혐오 탐지 75.9%로 SOTA 초과
- •인간·GPT-4 평가에서 유머·유해 단서 공존 밋에 대해 설득력 있는 설명 생성 확인
Beyond a Joke: Multi-Angle Reasoning for Detecting and Explaining Harmful Humor in Memes
- 1.유머·혐오가 공존하는 밈 이해용 VLM 프레임워크 MAR-12 제안, 이론 기반 12개 관점으로 해석
- 2.역할 인지 소프트 게이트 어텐션으로 관점별 기여도 학습, 프로토타입 분류기로 최종 판정
- 3.PrideMM·Memotion에서 유머 탐지 80.3%, 혐오 탐지 75.9%로 기존 SOTA 상회
- 4.인간·GPT-4 평가 모두에서 유머·유해 단서 공존 밈 설명의 일관성과 설득력 확인
왜 중요한가?
유머로 포장된 혐오 콘텐츠는 기존 분류기가 가장 자주 놓치는 영역인데, 이론 기반 관점 분해로 판정 근거까지 제시해 콘텐츠 모더레이션의 설명가능성 요구에 부합하는 접근이다.
본문 미리보기
arXiv:2607.15442v1 Announce Type: new Abstract: Internet memes intertwine visual cues, textual content, and cultural context, making them particularly challenging to interpret in scenarios where humor, sarcasm, and harmful intent coexist. These complexities highlight the need for explainable meme understanding systems that can provide reliable and structured reasoning to support both accurate classification and human interpretability. However, existing multimodal classifiers either overlook the
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
