금융 자연어처리 분야에서 통상 인간 라벨과의 일치도로 감성분석 도구를 검증한 뒤 시장 신호 추출에 그대로 신뢰하는 관행이 있는데, 이번 연구는 두 검증이 같은 것을 측정하지 않을 수 있음을 보였다. 연구진은 2002~2025년 증권집단소송 사건과 연계된 7만500건의 X(트위터) 메시지, 비정상 주가수익률 데이터를 이용해 VADER, Loughran-McDonald, FinBERT, Twitter-RoBERTa, LLM 주석기 등 5개 도구를 동일 파이프라인으로 비교했다. 표본추출 방식에 따라 결과가 달라져, 기존 방식으로는 인간 일치도가 당일 신호와 더 밀접했지만 고정표본에서는 당일과 익일 모두 비슷한 순위상관을 보였다. 메시지의 17.6%가 스팸인 상황에서 메시지량 자체는 시장 피해나 합의금 규모를 예측하지 못했다.

• •감성분석 도구의 인간라벨 일치도와 시장신호 예측력이 항상 같은 것을 측정하진 않음을 확인
• •2002~2025년 증권소송 관련 트윗 7만500건과 비정상수익률로 5개 도구 비교
• •표본추출 방식(관행적 vs 고정표본)에 따라 결론이 달라짐
• •트윗의 17.6%가 스팸, 메시지량은 시장피해·합의금 규모를 예측하지 못함