소형 모델 해커톤 후기로, 금융 드라마 게임 'Thousand Token Wood' v2를 다룬다. 각 동물 에이전트가 서로 다른 연구소의 소형 모델(OpenAI gpt-oss-20b, OpenBMB MiniCPM3-4B, NVIDIA Nemotron-Mini-4B, 자체 파인튜닝 Qwen 0.5B)로 사고하게 만들어 '이질성 자체를 제품화'했고, 플레이어는 대출·내부정보·공매도로 시장을 조종하는 그림자 금융가가 된다. 핵심 교훈은 마찰이 모델링이 아니라 서빙 계층에 있다는 점으로, vLLM 0.22.1의 nvcc 부재 오류를 CUDA devel 이미지로 일괄 해결했고, 관대한 JSON 파싱·복구 계층 하나로 모델 추가를 설정 변경 수준으로 단순화했다. 내부정보 팁의 진위 플래그는 프롬프트 밖 플레이어 원장에만 두고 매 턴 전 프롬프트를 스캔하는 테스트로 유출 0건을 보장했으며, 기억은 정수 감정값에서 파생한 한 줄 요약만 노출해 프롬프트 비대화를 막았다. 소형 모델은 신뢰할 만한 형식 생성기이되 추론은 구조·프롬프트·소규모 파인튜닝으로 보완해야 한다는 실전 지침을 제시한다.
- •4개 연구소의 서로 다른 소형 모델(gpt-oss-20b, MiniCPM3-4B, Nemotron-Mini-4B, 파인튜닝 Qwen 0.5B)로 이질적 에이전트 의회 구성
- •주요 난점은 모델링이 아닌 서빙 계층: vLLM 0.22.1의 nvcc 부재 오류를 CUDA devel 이미지로 일괄 해결
- •관대한 JSON 파싱·복구 계층 하나로 모델 추가를 설정 항목 수준으로 단순화
- •내부정보 팁의 진위 플래그를 프롬프트 밖에 두고 매 턴 스캔 테스트로 유출 0건 보장(보안을 프롬프트 지시가 아닌 데이터 흐름으로 해결)
- •기억은 정수 감정값에서 파생한 한 줄 요약만 노출해 프롬프트 비대화 방지, 파인튜닝 0.5B가 자기매수 0%·유효제안 100% 달성
Five labs, five minds: building a multi-model finance drama on small models
- 1.소형 모델 활용
- 2.금융 AI 연구
- 3.다중 모델 개발
왜 중요한가?
소형 모델로 금융 분야에서 다양한 AI 모델을 구축하려는 시도로, 효율적인 AI 기술 발전에 기여할 수 있습니다.
여러 연구실이 협력하여 소형 모델로 금융 분야 다중 모델 시스템을 구축하는 이 사례는 AI 개발의 새로운 방향을 제시합니다. 국내 금융권에서 AI 도입을 가속화하고 있는 가운데, 효율적인 자원 활용과 특정 목적에 최적화된 소형 모델 기반 접근법은 국내 핀테크 기업 및 금융기관들에게 중요한 시사점을 제공할 수 있습니다.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
