텍스트-오디오 검색에서 추론 능력을 평가하는 최초의 추론 집중 벤치마크 ReasonAudio를 소개한다. 부정 이해, 시간적 순서, 동시 이벤트 인식, 지속 시간 구분 등 5가지 추론 과제를 포함한 1,000개 쿼리와 10,000개 복합 오디오 클립으로 구성된다. 10개의 최신 모델 평가 결과 모든 모델이 추론 집중 오디오 검색에서 어려움을 겪으며, 멀티모달 LLM 기반 임베딩 모델은 대조적 파인튜닝을 통해 추론 능력을 검색 설정에 전달하는 데 실패했다.

• •ReasonAudio는 부정, 순서, 중첩, 지속 시간, 혼합 5가지 추론 과제를 포함한 최초의 추론 집중 텍스트-오디오 검색 벤치마크다.
• •1,000개 쿼리와 10,000개 복합 오디오 클립으로 구성되며, 현재 최신 모델에게 상당한 도전 과제를 제시한다.
• •모든 모델이 부정 및 지속 시간 과제에서 특히 취약하며, 중첩 및 순서 과제에서는 상대적으로 나은 결과를 보였다.
• •멀티모달 LLM 기반 임베딩 모델은 대조적 파인튜닝을 통해 추론 능력을 검색 설정에 전달하는 데 실패했다.