아마존 베드락에서 RAG 비용을 줄이기 위한 '쿼리 인지 압축(query-aware compression)' 기법을 소개하는 글이다. 검색된 청크를 곧바로 대형 모델에 넣는 대신, 클로드 하이쿠 같은 소형 모델이 먼저 질의와 관련된 구간만 원문 그대로 추출해 압축한 뒤 이를 클로드 소네트 같은 주 모델에 전달해 답변을 생성하는 구조다. 50만 건 이상의 문서와 500개 질문으로 벤치마크한 결과, 압축만으로 비용 33%·토큰 8.6배 절감을, 리랭크와 결합하면 비용 36%·토큰 10.1배 절감을 달성했으며 답변 품질은 기준 대비 97.5% 수준을 유지했다. 특히 환각률이 기준 51%에서 압축 시 44%, 리랭크+압축 시 38%로 낮아지는 부수 효과도 확인됐다. 규제 산업 컴플라이언스, 대규모 지식베이스 기반 고객지원, 재무 리서치 등 검색 컨텍스트가 크고 질문이 좁은 영역에서 특히 효과적이라고 설명한다.

• •소형 모델(클로드 하이쿠)이 검색 청크에서 관련 구간만 원문 그대로 추출 후 주 모델(소네트)에 전달하는 2단계 구조
• •압축만으로 비용 33%·토큰 8.6배 절감, 리랭크 결합 시 비용 36%·토큰 10.1배 절감
• •답변 품질은 기준 대비 97.5~97.6% 유지, 정확도 편차는 0.07점 이내
• •환각률이 기준 51%에서 압축 44%, 리랭크+압축 38%로 감소하는 부수 효과 확인