LLM의 장사슬 추론 능력을 평가하기 위해 동치류 문제(ECP)를 활용한 실증 연구입니다. ECP는 무작위로 생성된 동치 관계 집합이 주어졌을 때 두 변수의 동치 여부를 판단하는 가장 단순한 장사슬 추론 과제입니다. 추론 능력이 없는 LLM은 ECP에서 완전히 실패하며, 추론 모델도 완전히 해결하지 못했습니다. 비추론 모델의 경우 위상 전이점에서 가장 어려운 문제가 나타나고, 추론 모델은 그래프 지름이 클수록 어려움을 겪는 흥미로운 패턴을 발견했습니다.

• •동치류 문제(ECP)는 가장 단순한 장사슬 추론 과제임에도, 비추론 LLM은 완전히 실패하고 추론 모델도 완전히 해결하지 못한다.
• •비추론 모델에서 가장 어려운 문제는 위상 전이점 ln n/(n-1)에서 발생하여 문제의 혼돈적 특성을 시사하고, 추론 모델은 그래프 지름이 가장 클 때 어려움을 겪어 추론 깊이 한계를 반영한다.
• •변수 수, 연결 확률, 프롬프트 등 다양한 조건에서 대표적인 추론·비추론 LLM을 폭넓게 평가한 대규모 실증 연구다.
• •이 연구는 현재 LLM의 장사슬 추론 능력에 여전히 근본적 한계가 있음을 보여주는 중요한 기준점을 제공한다.