이 논문은 임상시험 프로그래밍(연구 프로토콜을 CDISC 표준에 따른 분석 가능 데이터셋으로 변환하는 작업)에서 기존 LLM 코드 생성이 사실상 전멸한다는 문제를 지적한다. 5개 최신 모델로 단발 시도 11회를 진행했지만 단 하나도 유효한 피험자 단위 분석 데이터셋을 생성하지 못했다. 저자들은 규제 프로세스 순서를 방향성 비순환 그래프(DAG)로 인코딩해 단일 데이터셋 생성 작업을 검증 게이트와 조건부 재시도를 갖춘 워커 에이전트가 수행하는 15개 도메인 특화 노드로 분해하는 다중 에이전트 시스템 GxP-Agent를 제안한다. FDA 파일럿 제출물 기반의 새 실행 벤치마크 CDISC-Bench에서 Claude Sonnet 4.6을 탑재한 GxP-Agent는 3회 독립 실행 모두 100%의 구조적 일치(49/49 변수, 254개 정확한 레코드)를 달성했는데, 이는 최선의 검색증강 베이스라인(59.2%)과 모든 단일·평면형 다중 에이전트 방식(0%)을 크게 앞서는 결과다. 같은 DAG 구조는 GPT-4.1 같은 약한 모델도 다른 모든 아키텍처에서 0%였던 것과 달리 59.2%까지 끌어올렸다.
- •5개 최신 LLM으로 단발 시도 11회를 했지만 유효한 임상시험 분석 데이터셋을 하나도 생성하지 못했다는 실패 사례를 제시한다.
- •규제 프로세스를 DAG로 인코딩해 15개 도메인 특화 노드로 분해하는 다중 에이전트 시스템 GxP-Agent를 제안했다.
- •FDA 파일럷 데이터 기반 CDISC-Bench에서 Claude Sonnet 4.6 킑재 GxP-Agent가 100% 구조적 일치를 3회 연속 달성했다.
- •같은 DAG 구조는 다른 아키텍처에서 0%였던 GPT-4.1의 성능도 59.2%까지 끜어올려 약한 모델에도 효과적이었다.
- •부작용(ADAE) 데이터셋 생성에도 적용해 첫 시도에서 100% 구조적 일치를 달성, 접근법의 일반화 가능성을 보였다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
GxP-Agent: Process-DAG Topology for Reliable Clinical Trial Programming with LLM Agents
- 1.GxP-Agent 제안, 규제 공정 순서를 DAG로 인코딩해 임상시험 데이터셋 생성을 15개 노드로 분해하는 멀티에이전트 시스템
- 2.기존 5개 최신 모델의 단일 시도 11회 전부가 유효한 ADSL 데이터셋 생성 실패
- 3.CDISC-Bench에서 Claude Sonnet 4.6 적용 GxP-Agent가 3회 독립 실행 모두 100% 구조 일치
- 4.검색증강 베이스라인 59.2%, 단일·평면형 멀티에이전트는 0%; 약한 GPT-4.1도 같은 DAG에서 59.2% 달성
왜 중요한가?
LLM 추론에만 의존한 코드 생성이 규제 준수 임상시험 프로그래밍에서 전면 실패하는 상황을, 도메인 공정 지식을 그래프 구조로 명시적으로 인코딩해 해결한 사례로, 신약 규제 제출 자동화의 신뢰성 확보에 실질적 시사점을 준다.
본문 미리보기
arXiv:2608.16890v1 Announce Type: new Abstract: Clinical trial programming -- transforming study protocols into analysis-ready datasets under CDISC standards -- is a bottleneck in regulatory submissions, yet LLM-based code generation fails catastrophically on this task: across 11 single-shot attempts with five frontier models, none produces a valid subject-level analysis dataset. We introduce GxP-Agent, a multi-agent system that encodes regulatory process ordering as a directed acyclic graph (D
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:59AI 초안
![[AI리더의 서가] Agentic AI 구축 개발의 모든 것](https://cdn.aitimes.com/news/photo/202610/215958_219938_244.jpg)
