SIRIN(Semantic Inconsistency Recognition and Inspection Nexus)은 검색증강·에이전트형·메모리 기반 LLM 시스템에서 근거 없이 유창하고 그럴듯한 답변을 내놓는 '맥락적 환각'을 탐지하는 통합 툴킷 겸 대화형 웹 UI다. 표현 프로빙, 불확실성 추정, 심판(judge) 방식 검증이라는 세 가지 탐지 패러다임과 생성 전 질의 응답 가능성 판단 기능을 하나의 인터페이스·설정 체계·평가 파이프라인으로 통합했으며, 화이트박스·블랙박스 환경 모두에서 응답·구간(span) 단위 검사를 지원한다. 웹 UI는 사용자가 입력한 맥락-질의-답변 3중항을 실시간으로 분석해 환각 점수, 근거 없는 구간 강조, 탐지기 간 나란히 비교를 제공하며, 새 탐지기를 손쉽게 추가할 수 있는 경량 플러그인 구조를 갖췄다. 연구진은 환각 탐지, 질의 응답 가능성 판단, 장기 메모리 시스템의 충실성 게이트로서의 활용 사례를 통해 SIRIN을 시연했으며 소스코드도 공개했다.

• •SIRIN, 검색증강·에이전트·메모리 기반 LLM의 '맥락적 환각'을 탐지하는 통합 툴킷 겸 웹 UI
• •표현 프로빙·불확실성 추정·심판 방식 검증 3개 탐지 패러다임과 질의 응답 가능성 판단을 하나의 파이프라인으로 통합
• •화이트박스·블랙박스 모두 지원, 응답 단위·구간(span) 단위 검사 가능
• •웹 UI에서 맥락-질의-답변 3중항 실시간 분석, 환각 점수와 근거 없는 구간 강조, 탐지기 비교 제공
• •경량 플러그인 구조로 새 탐지기 추가 용이, 장기 메모리 시스템의 충실성 게이트로도 시연, 소스코드 공개