법률 판례 검색에서 파라미터 학습 없이 BM25를 강화하는 자기진화 규칙 기반 질의 재작성 프레임워크를 제안했다. LLM 에이전트에 자동 평가 환경을 부여해 재작성 규칙을 반복 생성하고, 규칙 조합 검증 실험을 계획하며, 과거 피드백을 바탕으로 비효율 규칙을 제거하게 한다. 중국어 법률 판례 벤치마크 LeCaRD-v2 실험에서 사람이 설계한 규칙이나 탐욕적 규칙 선택 같은 비진화 기준선을 능가했고, 특히 고용량 핵심 LLM을 쓸 때 효과가 두드러졌다. 분석 결과 LLM이 이전 실험 결과를 활용하는 능력과 규칙 제거에 대한 내재 지식이 자기진화로 규칙 집합을 다듬는 데 핵심 역할을 했다.
- •파라미터 학습 없이 BM25를 강화하는 자기진화 규칙 기반 질의 재작성 프레임워크 제안
- •LLM 에이전트가 규칙을 반복 생성·검증하고 과거 피드백으로 비효율 규칙 제거
- •중국어 판례 벤치마크 LeCaRD-v2에서 인간 설계 규칙·탐욕적 선택 등 비진화 기준선 능가
- •이전 실험 결과 활용 능력과 규칙 제거 내재 지식이 자기진화의 핵심
When Rules Learn: A Self-Evolving Agent for Legal Case Retrieval
- 1.BM25를 파라미터 학습 없이 강화하는 자기진화 규칙 기반 질의 재작성 프레임워크 제안
- 2.LLM 에이전트가 자동 평가 환경서 규칙을 반복 생성·검증·비효과 규칙 제거
- 3.중국 법률 판례 검색 벤치마크 LeCaRD-v2서 인간 설계·탐욕적 규칙 선택 능가
- 4.고용량 핵심 LLM일수록 효과 크며, 과거 실험 활용·규칙 제거 지식이 자기진화의 핵심
왜 중요한가?
밀집 검색의 발전에도 BM25가 강력한 기준선으로 남는 법률 검색 영역에서, 파라미터 학습 없이 규칙 자기진화로 어휘 정합을 개선해 실용적 성능 향상을 달성했다.
복잡한 법률 용어와 방대한 판례 데이터는 국내 법률 전문가들에게 큰 부담으로 작용해왔습니다. 스스로 학습하며 법률 사례 검색의 정확도를 높이는 이 AI 에이전트는 한국 법률 시장에 혁신적인 변화를 가져와, 법률 서비스의 효율성과 접근성을 크게 향상시킬 잠재력을 가집니다.
본문 미리보기
arXiv:2606.17220v1 Announce Type: new Abstract: Legal case retrieval remains challenging due to the complexity of legal language and the need for precise lexical alignment between queries and relevant cases. Although dense retrieval models have achieved notable progress, empirical studies show that BM25 continues to serve as a strong baseline in this domain. It motivates us to propose a self-evolving framework for rule-driven query rewriting that enhances BM25 without any parameter training. Th
전체 내용이 궁금하다면?
원문을 직접 읽어보세요