연구진은 소재 분야 LLM이 결정구조 질문에 답할 때 실제로 구조로부터 추론하는지, 아니면 입력에 이미 인쇄된 답을 베끼는지 구분하기 위해 CARAT를 제안했다. CARAT는 질문과 정답을 고정한 채 여덟 가지 일치된 관점에서 구조적 관계를 그래프스페이스(GraphSpace)에 개별적으로 명명하고, 매칭된 미세조정·답 마스킹·증거 주입·대응 추론·주장 보류 규칙을 추가했다. 가장 어려운 문제군에서 그라운딩된 뷰는 수식 입력 대비 17.3점의 이득을 보였으나, 그래프스페이스가 단순 주기 그래프보다 19.3점 우수한 것은 실제로는 베이스라인이 누락한 정보를 메우는 효과(46.7점)와 제시 방식 자체의 효과(1.96점)가 섞인 결과임이 드러났다. 고정된 모델은 95.6%의 사례에서 링크를 인용하면서도 실제로는 그 관계를 사용하지 않고 답을 반복했으며, 매칭된 지도학습 후에는 그 비율이 99.8%로 올라간 반면 링크를 삭제하면 23.4%로 떨어졌다.
- •CARAT는 소재 LLM이 구조를 실제로 추론하는지 밗끼는지 구분하는 평가 틀랈임워크
- •가장 어럄은 문제에서 그럴려덠 며가 수식 입력 대비 17.3점 우위
- •생피위삤 19.3점 우위 중 대부분(46.7점 vs 1.96점)은 정분 값결손 보완 효웜임을 규믹
- •고정 모뎌은 95.6% 사례에서 링출 인용하되 실제로 사용하지 않고 답만 반복
- •매진된 지도학습 후 링크 활용름 99.8%로 상승, 링출 제거 시 23.4%로 거막
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
CARAT: Do Materials LLMs Reason or Recite?
- 1.CARAT, 소재 LLM이 결정구조를 실제로 추론하는지 암기해 답하는지 가려내는 벤치마크 제안
- 2.그라운딩된 입력이 화학식 입력 대비 가장 어려운 문항군서 17.3점 우위
- 3.GraphSpace의 19.3점 우위 중 대부분은 베이스라인 누락 정보 때문임을 자체 검증
- 4.매칭 지도학습 후 단서 활용률 95.6%→99.8%, 단서 제거 시 23.4%로 급락
왜 중요한가?
정확도만으로는 모델이 구조를 실제로 추론하는지 입력 텍스트의 답을 베끼는지 구분할 수 없음을 보이고, 벤치마크 자체의 우회 경로까지 역검증해 측정 신뢰성 문제를 제기한다.
언급 프로젝트
본문 미리보기
arXiv:2609.38340v1 Announce Type: new Abstract: When a materials LLM answers a question about crystal structure, does it reason from the structure or copy an answer already printed in its input? Accuracy cannot tell: a structural description often prints the very field it is scored against. CARAT holds question and gold answer fixed across eight matched views, names each structural relation separately in GraphSpace, and adds matched fine-tuning, answer masking, evidence injection, paired infere
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안
