이 논문은 복잡한 전문직 업무에서 LLM 판정자(judge)의 신뢰성을 검증하기 위해 특허 초안을 작성·평가하는 테스트베드 'Vibe Patenting'을 제시한다. 별도로 호출되는 LLM 판정자가 생성된 특허 초안을 평가하고 구조화된 피드백을 제공해 반복 수정을 이끄는데, 여러 발명과 작성 에이전트 설정에서 판정자 피드백 기반 수정은 품질을 꾸준히 높인 반면 피드백 없는 수정은 곧 정체됐다. 특히 반복적인 판정자 피드백을 활용하면 추론 능력이 낮은 에이전트도 훨씬 비용이 큰 고추론 에이전트의 성능에 근접할 수 있었다. 연구진은 전문 변리사의 독립 평가와 비교해 의미 있는 상관관계를 확인했지만 평가지표에 따라 일치도가 크게 달라지고 체계적인 보정 차이도 있음을 발견해, LLM 판정자의 유용성과 한계를 동시에 보여줬다.

• •'Vibe Patenting'은 LLM 판정자가 특허 초안을 평가·피드백해 반복 개선을 이끄는 AI 에이전트 평가 테스트베드다.
• •판정자 피드백 기반 수정은 품질을 꿈준히 높였지만, 피드백 없는 수정은 곳 성능이 정체되었다.
• •반복 피드백을 활용하면 저추론 에이전트가 고추론(고비용) 에이전트 성능에 근접할 수 있었다.
• •전문 변리사의 독립 평가와 비교해 의미 있는 상관관계를 확인했지만 지표별 일치도 편차와 보정 차이도 발견된다.