Hugging Face가 Papers with Code 검색 시스템을 Jobs·Buckets·Inference Endpoints 3가지 서비스로 구축한 아키텍처를 공개했다. 대량 논문 임베딩은 GPU가 필요한 오프라인 배치 작업인 Hugging Face Jobs로 처리하고, 그 결과물은 Storage Buckets에 체크섬과 매니페스트로 관리하며, 실시간 쿼리 임베딩은 Inference Endpoints가 담당해 오프라인 코퍼스 구축과 온라인 검색을 명확히 분리했다. Qwen3-Embedding-0.6B를 256차원으로 pin해 11만 편 이상의 논문 임베딩을 유지하며, PostgreSQL 전문검색과 pgvector 벡터검색을 reciprocal rank fusion으로 결합한 하이브리드 검색이 둘 중 하나만 쓸 때보다 우수함을 확인했다. 5,000편 파일럿에서 256차원 인덱스는 Recall@20 0.9955, p50 1.31ms의 성능을 보였으며, 콜드스타트 시 어휘 검색으로 즉시 폴백하는 설계로 안정성을 확보했다.

• •Papers with Code 검색을 Jobs(배치 임베딩)·Buckets(체크섬 아티팩트 저장)·Inference Endpoints(실시간 쿼리) 3단 구조로 구축
• •Qwen3-Embedding-0.6B를 256차원 Matryoshka로 pin, 11만편 이상 논문 임베딩 유지
• •PostgreSQL 전문검색+pgvector 벡터검색을 reciprocal rank fusion으로 결합한 하이브리드 검색이 단일 방식보다 우수
• •5,000편 파일럷에서 Recall@20 0.9955, p50 1.31ms 달성, 콜드스타트 시 어휘검색 자동 폴백으로 안정성 확보