Towards a Deterministic Math Solver for Clinical Language Models | AIChainDay

한국어 요약by Claude · 2026. 9. 13.

임상용 계산기에서는 숫자 하나의 오류가 권고사항을 바꿀 수 있어 LLM의 부정확한 산술 능력이 문제가 되는데, 이 연구는 모델이 직접 계산하지 않고 사례별 파이썬 코드를 작성해 제한된 로컬 실행기가 결정론적으로 풀게 하는 'Program-Solve' 방식을 제안한다. MedCalc-Bench Verified(55개 계산기, 1,100 사례)로 평가했으며, 55개 공식 중 16개에서 버전·용도·계수 문제를 발견해 별도 표기했다. Qwen2.5-32B-AWQ에서는 직접 산술(83.47%) 대비 실행기 활용(90.53%)이 뚜렷한 우위를 보였지만, 7B 모델에서는 유의미한 차이가 나지 않았다(75.31% vs 72.02%). 수작업으로 만든 22개 계산기 라이브러리는 지원 범위(440건) 내에서는 정확했지만 그 밖에서는 40%를 답변하지 않고 넘어갔다.

•LLM이 직접 계산 대신 코드를 작성해 로컬 실행기가 결정론적으로 풀게 하는 'Program-Solve' 제안
•MedCalc-Bench 55개 공식 중 16개에서 버전·용도·계수 오류 발견
•32B 모델에서는 실행기 활용이 직접 산술 대비 7.05점 우위, 7B에서는 유의미한 차이 없음
•수작업 계산기 라이브러리는 지원범위 내 정확하나 그 밖 40%는 답변 보류

0단 자동

AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.

규칙 판: 규칙 판 도입 이전 기사입니다.
남기는 것: 규칙 판 · 모델 · 시각
판 기록: 아직 없습니다.

AI2026년 9월 12일AI 점수: 85%

Towards a Deterministic Math Solver for Clinical Language Models

출처:arXiv cs.AI

AI 인사이트

개발자

1.임상 계산기용 LLM 산술 오류 문제를 '모델이 직접 계산하지 않고 파이썬 코드를 작성'하는 방식으로 해결 시도
2.MedCalc-Bench Verified(1100건, 55개 계산기)로 검증, 55개 중 16개 계산기 공식이 최신 임상지침과 불일치 발견
3.Qwen2.5-32B-AWQ에서는 90.53% 대 83.47%로 직접 산술보다 유의미하게 우수(+7.05점)
4.Qwen2.5-7B에서는 개선폭이 통계적으로 불확실(75.31% 대 72.02%), 수기 라이브러리는 지원 범위 밖에서 40% 응답 포기

왜 중요한가?

임상 계산기 오류 한 번이 치료 권고를 바꿀 수 있는 고위험 영역에서, 모델 크기에 따라 코드 실행 위임의 효과가 달라진다는 것을 보여 무조건적인 도구 사용 확대가 안전을 보장하지 않음을 시사한다.

언급 프로젝트

MedCalc-Bench Qwen2.5

본문 미리보기

arXiv:2609.10728v1 Announce Type: new Abstract: Large language models are unreliable at arithmetic, which is a problem for clinical calculators where a single numerical error changes the recommendation. The standard response is to hardcode each calculator as a validated function, one at a time. We test an alternative: the model does not calculate. Instead, it writes case-specific Python that a restricted local executor runs as a deterministic solver, and the model's task reduces to deciding how

전체 내용이 궁금하다면?

원문을 직접 읽어보세요

원문 보기