에너지 도메인에서 툴 증강 LLM 에이전트를 실전 수준으로 평가한 최초급 실증 연구다. 전문가가 만든 243개 문제를 시장 데이터 검색·분석, 지식 검색·해석, 고급 정량 모델링·의사결정 분석의 3개 범주로 구성했으며, 가격·수요 분석, 요금제 영향 모델링, 자산 수익 추정, 헤징 전략, 최적화 모델링 등을 포함한다. 에이전트에는 미국 주요 ISO의 실시간 전력시장 API, 규제 문서 검색, 요금 데이터베이스, 자산 최적화 모델, 에너지 문서 RAG 등 도메인 툴이 제공된다. 접근법 정확성, 답 정확도, 속성 정합, 출처 타당성을 채점하는 다차원 평가 프로토콜로 폐쇄형·오픈소스 LLM을 비교해, 고위험 전문 분야에서 모델 능력과 도메인 툴링의 상호작용을 분석했다. 핵심 산출물은 공개된다.

• •정적 지식 회상에 머물던 에너지 도메인 평가를 실시간 데이터·다단계 추론으로 확장
• •전문가 큐레이션 243개 문제, 3개 범주·다수 난이도 구성
• •미국 주요 ISO 실시간 전력시장 API, 규제 문서 검색, 요금 DB 등 도메인 툴 제공
• •접근법·정확도·속성 정합·출처 타당성을 보는 다차원 평가 프로토콜 설계
• •폐쇄형·오픈소스 LLM 비교와 재현성을 위한 산출물 공개