연구진은 LLM의 그래프 이론 추론 능력을 평가하는 GT Bench(Graph Theory Bench)를 공개했다. 24개 고전 그래프 문제를 44가지 과제-구조 설정, 자연어·구조화 언어·인접 리스트·인접 행렬 등 4가지 표현으로 10만 건 이상 구성했다. 8개 LLM 평가 결과 정확도는 입력 표현 방식에 크게 의존했고 최적 표현은 그래프 밀도·크기·토폴로지와 모델에 따라 달라졌으며, 이런 민감성은 최상위 추론 모델에서도 약화된 형태로 지속됐다. 이를 바탕으로 표현 선택기와 계획-분해 스캐폴딩을 프리즈된 실행 LLM에 결합한 Graph Theory Agent(GTA)를 제안, Phi-4의 성능을 쉬운 분할에서 53.5%→69.1%, 어려운 분할에서 33.0%→41.5%로 끌어올려 8개 프롬프팅·에이전트 기준선을 능가했고 재학습 없이 다른 벤치마크로도 전이됐다.
- •24개 그래프 문제, 44가지 설정, 10만 건 이상 예제로 구성된 GT Bench 공개
- •정확도가 자연어·구조화 언어·인접 리스트·인접 행렬 등 입력 표현 방식에 크게 좌우됨을 확인
- •최적 표현이 그래프 밀도·크기·토폴로지·모델별로 달라지고 강한 추론 모델에서도 민감성 지속
- •표현 선택기+계획-분해 스캐폴딩 결합한 GTA로 Phi-4 성능을 대폭 향상(쉬운 분할 53.5%→69.1%)
- •재학습 없이 GraCoRe·NLGraph 등 다른 벤치마크로 전이 성공
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
GTA: Graph Theory Agent and Benchmark for Algorithmic Graph Reasoning with LLMs
- 1.LLM의 그래프 알고리즘 추론력을 검증하는 대규모 벤치마크 'GT Bench' 공개(24개 문제, 10만+ 예제)
- 2.8개 LLM 평가 결과 정확도가 자연어·구조화언어·인접리스트·인접행렬 등 입력 표현 방식에 크게 좌우됨
- 3.선호학습 기반 표현 선택기와 계획-분해 스캐폴딩을 결합한 'Graph Theory Agent(GTA)' 제안
- 4.GTA가 Phi-4 정확도를 쉬운 문제 53.5%→69.1%, 어려운 문제 33.0%→41.5%로 향상, 재학습 없이 타 벤치마크로도 전이
왜 중요한가?
그래프 구조 추론에서 입력 표현 방식이 성능을 좌우한다는 사실을 정량화하고 자동 선택 에이전트로 해결해, 지식그래프·네트워크 분석에 LLM을 쓰는 실무 파이프라인 설계에 직접적 시사점을 준다.
본문 미리보기
arXiv:2609.12265v1 Announce Type: new Abstract: Large Language Models (LLMs) are increasingly asked to reason over structured data such as graphs, yet how reliably they can carry out multi-step graph algorithms in language remains unclear. Existing evaluations tend to use simple tasks on small graphs, to score code generation rather than reasoning over the graph itself, or to fix a single input format. We introduce Graph Theory Bench (GT Bench), a benchmark covering 24 classical graph problems
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

