교육용 게임 플레이 중 학습 경험을 방해하지 않고 금융 이해력을 은닉 평가(stealth assessment)하는 멀티에이전트 LLM 아키텍처 'Agentic BKT'를 제안한 연구다. OECD/INFE 금융 이해력 프레임워크에 맞춘 2D 플랫포머 게임에서 모든 플레이어 결정을 이벤트 로그로 수집하고, LLM 분류기가 4점 루브릭으로 라벨링(전문가 3인 대비 Fleiss kappa 0.624)한 뒤, 위험 관리·투자·지출·신용 관리 4개 도메인 에이전트가 세션 수준 추론과 베이지안 지식 추적(BKT)으로 숙련도를 추정하고 심판 에이전트가 종합 점수를 산출한다. K-12 참가자 193명, 264개 세션 평가에서 학습 향상(r=0.276) 및 사후 시험 점수(r=0.333)와 유의하게 상관됐고, 단일 LLM 베이스라인 대비 예측 타당도를 약 3배 높였다. IEEE CoG 2026 채택작이다.
- •게임 플레이 이벤트만으로 금융 이해력을 은닉 평가하는 4단계 Agentic BKT 파이프라인
- •LLM 이벤트 분류기가 전문가 3인 대비 Fleiss kappa 0.624(상당한 일치)로 검증된 4점 루브릭 적용
- •위험·투자·지출·신용 4개 도메인 에이전트 + 베이지안 지식 추적 + 심판 에이전트 종합
- •K-12 193명·264세션에서 학습 향상(r=0.276)·사후 점수(r=0.333)와 유의한 상관
- •단일 LLM 베이스라인(r=0.095, 비유의) 대비 예측 타당도 약 3배 — 도메인 분해의 효과 입증
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Agentic Knowledge Tracing: A Multi-Agent LLM Architecture for Stealth Assessment of Financial Literacy in Serious Games
- 1.게임플레이 중 금융 이해력을 은밀 평가하는 멀티에이전트 LLM 파이프라인 Agentic BKT 제안
- 2.OECD/INFE 프레임워크 기반 2D 플랫포머 게임 이벤트를 4단계로 처리
- 3.193명 K-12 264세션 평가, 학습이득 r=0.276·사후점수 r=0.333 유의 상관
- 4.멀티에이전트가 단일 LLM 기준선(r=0.095) 대비 예측타당도 약 3배 향상
왜 중요한가?
학습 경험을 방해하지 않고 게임 행동에서 다차원 금융역량을 평가할 수 있음을 K-12 실증으로 보여, 교육용 시리어스 게임의 스텔스 평가 설계에 실질적 방법론을 제공한다.
언급 프로젝트
본문 미리보기
arXiv:2606.25358v1 Announce Type: new Abstract: Assessing financial literacy during gameplay without disrupting the learning experience remains a key challenge in serious games for education. We present the Agentic BKT pipeline, a multi-agent large language model architecture for stealth assessment of financial competencies from open-ended gameplay events. The pipeline processes events from a 2D platformer serious game aligned with the OECD/INFE financial literacy framework through four phases:
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:08AI 초안

