이미지 라벨링 품질이 컴퓨터 비전 모델 성능의 상한을 결정한다는 분석이다. MIT·Amazon 연구에서 ImageNet과 CIFAR-10 라벨 오류를 수정하자 34개 아키텍처 순위가 크게 뒤바뀌었고, 1위였던 NasNet은 29위로 추락한 반면 ResNet-18은 34위에서 1위로 올라섰다. 라벨 일관성은 Krippendorff's alpha 등 IAA 지표로 측정 가능하며, 프로덕션 팀은 보통 0.8 이상을 목표로 삼는다. 데이터 양을 늘리는 것보다 가이드라인 정교화, 골드스탠다드 태스크, 다단계 검수 등으로 라벨 일관성을 높이는 것이 정확도 개선에 더 효과적이다. CV 프로젝트를 계획하는 팀이라면 벤더 선택 시 저렴한 단가보다 IAA 수치와 조정 프로세스를 검증해야 한다.

• •MIT·Amazon 연구: 라벨 오류 수정 시 34개 모델 순위 재배열(NasNet 1위→29위, ResNet-18 34위→1위)
• •라벨 노이즈는 데이터량 증가로 해결되지 않고 일관된 편향을 모델에 학습시킴
• •라벨 일관성은 Krippendorff's alpha 등 IAA로 측정하며 프로덕션 목표치는 보통 0.8 이상
• •품질 관리 요소: 상세 가이드라인, 골드스탠다드 태스크, 다단계 검수·조정, 데이터셋 버전관리
• •에지 케이스(가려진 물체, 저조도 등) 라벨링 품질이 실제 배포 성능의 병목