저자원 언어(LRL)에서 혐오표현 탐지는 라벨링된 데이터 부재, 비정형 언어구조, 표준 문법 부재로 어렵다. 로마자 우르두어는 남아시아인들이 SNS에서 널리 쓰지만 철자 일관성이 낮아 대표적 난제로 꼽힌다. 이 논문은 로마자 우르두어 혐오표현 탐지를 위한 대형언어모델(LLM)을 종합 평가하고, 파라미터 효율적 미세조정(PEFT) 기법인 LoRA로 미세조정했다. Mistral, LLaMA, Falcon, 다국어 BERT 등에 대해 제로샷 추론과 PEFT를 비교했으며, 실험은 7만2000개 이상의 주석이 달린 PURUTT 데이터셋으로 진행됐다. 결과적으로 제로샷 모델은 중간 수준(F1=0.56)의 성능을 보였지만, 전체 파라미터 중 일부만 업데이트해도 분류 성능이 크게 향상됐다(F1>0.93). PEFT는 뛰어난 성능과 우수한 연산 효율을 동시에 제공해 저자원 언어 처리 과제에 매우 적합한 것으로 나타났다.

• •로마자 우르두어 혹오표현 탐지에서 LLM 제로샷 성능은 중간 수준(F1=0.56)에 그침
• •LoRA 기반 PEFT 미세조정으로 F1 0.93 이상 달성, 성능 대폭 향상
• •Mistral, LLaMA, Falcon, 다국어 BERT 등을 7만2000개 이상 주석 PURUTT 데이터셋으로 평가
• •PEFT가 성능과 연산 효율을 동시에 만족시켜 저자원 언어 처리에 적합함을 입증