Visual-Seeker는 능동적 시각 추론을 통한 시각 네이티브 멀티모달 심층 검색 에이전트다. 비전을 정적 입력으로 다루던 기존 방식과 달리, 미세한 시각 세부를 능동적으로 주시하고 검색 과정 내내 시각 증거를 동적으로 수집한다. 시각 네이티브 잠재력을 끌어내기 위해 능동 시각 추론 데이터 파이프라인을 설계하고 5천 개의 고품질 멀티모달 궤적을 합성해 학습한다. 다섯 개의 까다로운 멀티모달 검색 벤치마크에서 일부 상용 모델까지 능가하는 최첨단 성능을 달성해, 실제 웹 환경에서 견고한 시각 네이티브 추론과 검색을 입증한다.
- •능동적 시각 추론 기반 시각 네이티브 멀티모달 심층 검색 에이전트 Visual-Seeker
- •비전을 정적 입력이 아닌 능동 주시·동적 시각 증거 수집 대상으로 취급
- •능동 시각 추론 데이터 파이프라인으로 5K 고품질 멀티모달 궤적 합성·학습
- •5개 멀티모달 검색 벤치마크서 일부 상용 모델 능가하는 SOTA 달성
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Visual-Seeker: Towards Visual-Native Multimodal Agentic Search via Active Visual Reasoning
- 1.능동적 시각 추론 기반 멀티모달 심층 검색 에이전트 Visual-Seeker 제안
- 2.이미지를 정적 입력이 아니라 능동적으로 주목해 미세 시각 증거를 검색 과정 중 수집
- 3.능동 시각 추론 데이터 파이프라인으로 5K 고품질 멀티모달 궤적 합성·학습
- 4.5개 멀티모달 검색 벤치마크에서 SOTA 달성, 일부 독점 모델도 능가
왜 중요한가?
기존 멀티모달 검색이 명시적 의미의 단순 이미지와 텍스트 증거에만 의존해 다중 홉·교차 모달 추론에 약했던 한계를, 시각 정보를 능동적으로 탐색하는 방식으로 극복해 실제 웹 환경의 시각 기반 검색 성능을 끌어올렸다.
언급 프로젝트
멀티모달 LLM은 시각 작업에서 놀라운 능력을 보이지만, 복잡한 현실 세계에서 사실적 근거를 확보하는 데 어려움을 겪고 있습니다. Visual-Seeker는 능동적 시각 추론을 통해 이러한 한계를 극복하려는 시도이며, 이는 국내 멀티모달 AI가 더욱 신뢰성 높은 정보 검색 및 실제 환경 적용 능력을 갖추도록 하는 데 중요한 발전입니다.
본문 미리보기
arXiv:2606.15231v1 Announce Type: new Abstract: Multimodal large language models (MLLMs) have demonstrated impressive capabilities in many visual tasks, but they often struggle with factual grounding when confronted with complex, open-world scenarios. While recent multimodal deep search agents attempt to address this issue by utilizing external tools, the visual-native search paradigm remains underexplored. Existing methods primarily rely on simple images with explicit semantics and text-only e
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:49AI 초안