FETCH 분류기는 LLM 앙상블로 법률 지원 신청자의 문제를 정교히 분류하기 위한 추가 질문을 생성한다. 저비용 LLM은 분류 작업에 충분하지만, GPT-5와 같은 고비용 모델을 추가해야 법률 인테이크에 적합한 고품질 평이한 언어 질문을 생성할 수 있음을 전문 변호사 평가를 통해 확인했다. 프롬프트 엔지니어링만으로는 질문 품질 향상이 불충분하며, LLM-as-judge와 인간 평가자의 점수도 일치하지 않았다. 가정폭력 등 특정 범주에서 사실 수집이 불균등하게 나타나 전용 스크리닝 패널의 필요성을 시사한다.
- •저비용 LLM은 법률 문제 분류엔 충분하지만, 평이한 언어의 고품질 인테이크 질문 생성에는 GPT-5 수준의 고비용 모델이 필요하다.
- •프롬프트 엔지니어링만으로는 인테이크 질문 품질 향상이 불충분함을 실험으로 확인했다.
- •LLM-as-judge 평가와 인간 평가자의 점수가 유의미하게 차이나, 자동 평가 시스템의 신뢰성에 의문을 제기한다.
- •가정폭력 등 민감한 법률 범주에서 사실 수집이 불균등해, 해당 영역 전용 스크리닝 패널 도입이 권고된다.
On Wednesdays, We Ask Questions: Optimizing "Active Listening" in Automated Legal Triage and Referral
- 1.FETCH 분류기 활용
- 2.법률 문제 맞춤 질문 생성
- 3.LLM 기반 능동적 경청 최적화
왜 중요한가?
법률 서비스 접근성을 높이고 초기 상담의 정확성을 개선하여 사용자 만족도를 향상시킬 수 있습니다. 이는 AI가 전문 서비스 분야에서 얼마나 효과적으로 활용될 수 있는지를 보여줍니다.
🏷️ 언급 프로젝트
본문 미리보기
arXiv:2606.00272v1 Announce Type: new Abstract: The FETCH classifier generates follow-up questions to help refine the best match for the applicant's legal problem, using a low-cost ensemble of LLMs. In this paper, we describe an expert attorney and LLM-assisted evaluation of the follow-up question approach in FETCH and show that while low-cost LLMs perform well at classification tasks, generating high-quality plain-language questions in this setting appears to require a more sophisticated and h
전체 내용이 궁금하다면?
원문을 직접 읽어보세요