산불 위험 예측 시스템을 F1-score나 IoU 같은 표준 머신러닝 지표로 평가하는 것은 근본적으로 잘못됐다는 주장이다. 연구진은 예측 위험 점수가 올라갈 때 화재 건수, 대응 시간, 투입 자원 같은 실제 운영 부하도 함께 증가하는지를 측정하는 단조성(monotonic) 평가 프레임워크를 제안했다. 프랑스 알프마리팀 지역에서 전문가 기반 DFE 지수, GRU 예측 모델, 예측 AI와 LLM 추론을 결합한 다중 에이전트 시스템 FARS를 비교한 결과, DFE는 분류 지표는 나빴지만 위험 척도 전 구간에서 가장 균형 잡힌 단조성을 보였고 GRU는 국소 단조성은 강하나 위험 등급 분포가 고르지 못했다. 좋은 위험 모델은 화재를 정확히 맞히는 모델이 아니라 서열 척도가 운영 동역학을 설명하는 모델이라는 관점 전환을 제시한다.

• •F1·IoU 같은 분류 지표는 사건 예측 정확도만 보기 때문에 연속적 위험 신호의 운영적 정합성을 평가하지 못한다.
• •제안된 프레임워크는 위험 점수 상승이 화재 건수·개입 시간·투입 자원 증가로 이어지는지를 측정한다.
• •프랑스 Alpes-Maritimes에서 전문가 지수 DFE, GRU 모델, 하이브리드 다중에이전트 FARS 세 가지를 비교했다.
• •DFE는 분류 성능이 낮았음에도 전 위험 구간에서 가장 균형 잎힌 단조성을 보였다.
• •FARS는 상위 신호의 구조적 한계를 교정하지 못하고 그대로 계승해 드러냈다.