Agent Island는 언어 모델 에이전트들이 협력, 갈등, 설득 게임에서 경쟁하는 멀티플레이어 시뮬레이션 환경으로, 포화 및 오염에 강한 동적 벤치마크를 제공한다. 49개 모델이 참여한 999게임에서 openai/gpt-5.5가 후방 평균 스킬 5.64로 2위(3.10)와 3위(2.86)를 압도했으며, 동일 공급자 최종 투표 선호 편향도 확인되었다. 베이지안 Plackett-Luce 모델로 스킬 불확실성을 정량화하며, 새 모델은 항상 현재 선두를 능가할 가능성을 유지한다.
- •정적 벤치마크는 포화와 오염 문제로 시간 경과에 따른 역량 발전 추적이 어렵다.
- •에이전트들이 고정 태스크 대신 다른 적응형 에이전트와 경쟁하므로 새 모델은 항상 선두를 능가할 수 있다.
- •999게임에서 openai/gpt-5.5가 후방 평균 스킬 5.64로 2위(3.10)와 3위(2.86)를 크게 앞섰다.
- •동일 공급자 최종 투표 선호 편향이 확인되었으며, OpenAI 모델에서 가장 강하고 Anthropic 모델에서 가장 약했다.
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Agent Island: A Saturation- and Contamination-Resistant Benchmark from Multiagent Games
- 1.정적 벤치마크의 포화·오염 문제를 해결하는 멀티플레이어 게임 환경 Agent Island 소개
- 2.49개 모델, 999번 게임에서 GPT-5.5가 압도적 우위(기술 점수 5.64 vs 2위 3.10)
- 3.베이지안 Plackett-Luce 모델로 플레이어 실력 불확실성 정량화
- 4.동일 제공사 선호 편향: OpenAI 모델이 가장 강하고 Anthropic이 가장 약함
왜 중요한가?
벤치마크 포화·오염 문제를 동적 경쟁 환경으로 해결하며, 현재 최전선 모델들의 실제 능력 격차와 동일 제공사 편향을 가시화하는 중요한 연구다.
언급 프로젝트
본문 미리보기
arXiv:2605.04312v1 Announce Type: new Abstract: Static capabilities benchmarks suffer from saturation and contamination, making it difficult to track capabilities progress over time. We introduce Agent Island, a multiplayer simulation environment in which language-model agents compete in a game of interagent cooperation, conflict, and persuasion. The environment yields a dynamic benchmark designed to mitigate both saturation and contamination; new models can always outperform the current leadin
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 13:10AI 초안
