BrainBench는 자연어 지시, 신호처리, 정량적 근거, 과학적 해석을 아우르는 '종합적 EEG 이해' 능력을 평가하기 위한 통합 벤치마크다. 기초 분석, 수면 평가, 신경인지 평가, 생리 통합 등 4개 하위셋으로 구성되며 17개 데이터셋, 다수의 과제, 실데이터 인스턴스를 포함한다. 시스템은 지시와 EEG 기록(선택적으로 다른 생리신호 포함)을 받아 분석을 수행하고 과학적으로 근거 있는 리포트와 필요시 산출물을 만들어야 하며, 결과는 수치·범주·집합·시퀀스·의미·산출물 검증으로 평가된다. 대표 LLM들을 CodeAct 기반 자율 코드 실행과 BrainAgent 기반 구조화된 에이전트 분석 두 방식으로 10만 회 이상 실행해 평가한 결과, 모델·하위셋·난이도·실행 방식에 따라 성능이 크게 달라져 EEG 능력이 모델과 그 운용 방식에 좌우됨을 보였다.

• •BrainBench, 자연어 지시 기반 '종합적 EEG 이해' 능력을 평가하는 통합 벤치마크
• •기초분석·수면평가·신경인지평가·생리통합 4개 하위셋, 17개 데이터셋으로 구성
• •수치·범주·집합·시퀌스·의미·산출물 검증 등 다양한 방식으로 출력을 평가
• •CodeAct 자율 코드 실행과 BrainAgent 구조화 분석 두 패러다임으로 10만 회 이상 실행 평가
• •모델·하위셋·난이도·실행 방식에 따라 성능 편차가 커서 EEG 능력이 운용 방식에 좌우됨