이 연구는 AI 연산 효율성을 FLOPs로 추정하는 α-FLOPs 공식을 최신 고성능 하드웨어에서 재현해 검증했다. FLOPs가 같아도 병렬화 용이성 차이로 실행 시간이 달라진다는 원 연구의 핵심 주장은 이번 재현에서도 확인됐지만, 재현 자료의 의존성 정보 부족과 회귀 데이터 투명성 부족이라는 한계도 함께 드러났다. 세밀한 측정 결과 최신 하드웨어에서는 실행 시간에 급격한 도약과 진동 같은 불안정성이 나타나 α-FLOPs 공식이 이를 대체로 과소평가하는 것으로 나타났다. 저자들은 하드웨어 의존적 효율성 연구를 위한 완전하고 정확한 재현 패키지의 필요성을 강조하며 자체 구현 재현 패키지를 공개했다.

• •원 연구의 재현을 통해 FLOPs만으로는 실행 시간을 정확히 예측할 수 없음을 재확인
• •재현 자료의 의존성 명세·회귀 데이터 투명성 부족 문제 지적
• •최신 하드웨어에서 실행 시간의 도약·진동 등 불안정성 발견
• •α-FLOPs 공식이 이러한 불안정성을 대체로 과소평가함을 확인
• •완전한 재현 패키지의 필요성을 강조하며 구현체를 공개