환자들이 AI 지원 정신과 인테이크 시스템을 사용하기 전에, 의료 시스템은 이런 도구를 임상 표준에 맞춰 정기적으로 평가할 실용적 방법이 필요하다. 임상의마다 인터뷰 스타일이 다르기 때문에 평가는 다양한 접근법 간 비교를 지원하고, 임상의 부담을 최소화하며, 배포 시스템에 임상적으로 관련된 성능을 측정해야 한다. 연구팀은 개방형 AI 인터뷰를 위한 기억 증강 환자 시뮬레이터 InterviewPlayground를 중심으로 한 임상의 근거 평가 플랫폼을 제시했으며, 전문가가 작성한 사례로 상호작용형 가상 환자를 만들고 모의 인테이크 플랫폼과 관련 평가 방식을 설계했다. 임상의 6명이 25분간 GPT 기반 LLM 인테이크 면담자와 비교 평가한 파일럿에서, LLM은 환자 사례에 포함된 임상적으로 관련된 항목을 더 많이 찾아냈지만(88.0% 대 38.9%), 인터뷰에 근거하지 않은 임상적 추론을 더 많이 했고(56.8% 대 27.8%), 확인된 안전 우려를 특징짓는 빈도는 더 낮았다(33.3% 대 66.7%). 이는 이 과제에 대한 배포 후 품질 보증 체계의 토대를 마련한다.

• •임상의 인터뷰 스타일 차이를 반영한 평가를 위해 기억 증강 환자 시뮬레이터 InterviewPlayground를 개발했다
• •임상의 6명과 GPT 기반 LLM 인테이크 면담자를 25분 파일럷으로 비교 평가했다
• •LLM은 임상적으로 관련된 항목을 더 많이 찾았지만(88.0% 대 38.9%) 근거 없는 추론도 더 많이 했다(56.8% 대 27.8%)
• •LLM은 확인된 안전 우려를 특징짓는 빈도가 더 낮아(33.3% 대 66.7%) 배포 전 품질 보증 필요성을 시사한다