0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
PLE: Physical-Engineering's Last Exam (원문, 새 창)
한국어 요약
Claude · 2026-10-25연구팀은 전기·토목·구조·기계 공학 분야에서 실제 과금 가능한 엔지니어링 결과물을 완성해야 하는 85개의 장기 수행 에이전트 과제로 구성된 벤치마크 PLE(Physical-Engineering's Last Exam)를 공개했다. 기존 공학 벤치마크가 교과서식 질의응답이나 고립된 도구 호출, 자체 완결형 토이 문제에 그쳐 이미 선도 에이전트에 의해 포화된 것과 달리, PLE는 물리·법규 요건을 복합 프로젝트 문서 전반에 걸쳐 모델링하고 자재·설치 비용을 최적화하며 등록 심사관이 승인할 2D·3D 설계 패키지를 작성하도록 요구한다. 과제는 현업 엔지니어가 처음부터 끝까지 작성한 유형과, 문제 서술을 바탕으로 적대적 생성자-해결자 에이전트 파이프라인이 프로젝트 환경과 채점기를 구성한 뒤 전문가 검증을 거치는 유형으로 구성됐다. 7개의 공개 에이전트 하네스로 여러 프론티어 LLM을 평가한 결과 가장 강력한 구성도 평균 50.6%의 점수에 그쳤고, 과제당 평균 2,700만 토큰과 63분을 소모해 현재 에이전트와 자율적인 물리 공학 설계 사이의 큰 간극을 보여줬다.
- 전기·토목·구조·기계 공학의 실제 과금 가능한 결과물 완성을 요구하는 85개 과제 벤치마크 PLE 공개
- 현업 엔지니어 작성 과제와 적대적 생성자-해결자 파이프라인 구성 과제 두 가지 경로로 구성
- 7개 공개 에이전트 하네스로 평가 시 최강 구성도 평균 50.6% 점수에 그침
- 과제당 평균 2,700만 토큰·63분 소모, 현재 에이전트와 자율 공학 설계 사이 큰 격차 확인
AI 인사이트
- 물리공학(전기·토목·구조·기계) 분야의 실제 업무 수준 장기 과제 85개로 구성된 벤치마크 PLE를 공개
- 기존 벤치마크는 교과서형 문제에 그쳤으나 PLE는 비용 최적화·2D/3D 설계 패키지 작성 등 검수 가능한 결과물을 요구
- 7개 공개 에이전트 하니스로 평가한 결과 최고 구성도 평균 50.6% 점수, 과제당 2,700만 토큰과 63분을 소모
- 숙련 엔지니어가 직접 제작·검증한 과제로 구성해 난이도와 현실성을 동시에 확보
왜 중요한가
AI 에이전트가 수시간짜리 전문 업무를 처리한다는 주장이 많지만, 실제 과금 가능한 공학 설계 수준에서는 최고 모델도 절반 수준의 성공률에 그친다는 점에서 에이전트의 전문직 대체 기대에 중요한 반증 데이터를 제공한다.
본문 미리보기
arXiv:2610.30537v1 Announce Type: new Abstract: Frontier language models now score above 90% on popular knowledge benchmarks and are increasingly deployed as agents that carry out multi-hour professional work. Yet no existing benchmark tests whether they can perform the real-world, economically valuable work of a professional physical engineer, such as modelling physics and legal code requirements across a multi-format project corpus, optimising material and installation costs, and issuing 2D/3
전체 내용이 궁금하다면?
arXiv cs.AI에서 원문을 직접 읽어보세요
- #LLM 에이전트
- #벤치마크
- #물리엔지니어링
- #AI 평가
- #프론티어 모델
이 글이 만들어진 과정
- 10:47AI 초안