LLM의 창의적 문제 해결 능력을 평가하는 CreativityBench를 소개한다. 4천 개 엔티티와 15만 개 이상의 어포던스 주석으로 구성된 지식 베이스를 구축하고, 이를 기반으로 14,000개의 과제를 생성해 10개 최신 LLM을 평가했다. 모델들은 적절한 사물 선택에는 성공하지만, 올바른 부품과 그 기능적 사용을 파악하는 데 실패하는 것으로 나타났다. 모델 크기 증가나 Chain-of-Thought 같은 추론 전략의 효과는 빠르게 포화 상태에 이르러, 창의적 도구 사용은 현재 AI 모델의 중요한 미해결 과제임이 확인됐다.

• •CreativityBench는 4K 엔티티, 150K+ 어포던스 주석 기반 지식 베이스로 구축된 LLM 창의적 추론 평가 벤치마크다.
• •현재 LLM은 사물 선택은 가능하지만, 부품 기능과 물리적 메커니즘 파악 능력이 부족하다.
• •모델 스케일링 효과는 빠르게 포화되며, Chain-of-Thought 전략의 창의적 추론 개선 효과도 미미했다.
• •창의적 도구 사용 능력은 미래 에이전트의 계획 및 추론 모듈 설계에 중요한 시사점을 제공한다.