모델이 실제 전이 가능한 회로 설계 능력을 익혔는지, 그리고 그 결과물이 실제 공정·테스트 조건에서 동작하는지를 평가하기 어려웠던 기존 아날로그 집적회로 벤치마크의 한계를 보완한 SGAnalog가 공개됐다. Tiny Tapeout 제작 셔틀과 연계된 사람이 설계한 오픈소스 회로 273개의 위상학적으로 서로 다른 최상위 설계로 구성되며, 회로도-넷리스트 변환과 소자 사이징 두 가지 과제를 평가한다. 7개 모델 대상 66개 변환 과제에서 최고 모델이 56.1% 정확 그래프 동형 일치율을 기록했고, 7개 중 6개 모델이 소~중간 난이도에서 성능이 급락했다. 사이징 과제 17개에서는 선두 모델이 100점 만점에 91.2점을 받은 반면, 최신 Claude 모델 2종은 다른 모델이 거부 없이 수행한 프롬프트 중 각각 4개, 11개를 거부해 능력이 아닌 정책상 한계를 드러냈다.
- •Tiny Tapeout 셋틀 연계 오픈소스 회로 273개로 구성된 아날로그 IC 설계 벤치마크 SGAnalog
- •66개 회로도-넷리스트 변환 과제에서 최고 모델 정확도 56.1%, 난이도 상승 시 대부분 모델 급락
- •17개 소자 사이징 과제에서 선두 모델이 100점 만점에 91.2점 기록
- •최신 Claude 모델 2종은 능력이 아닌 정책적 이유로 일부 프롬프트를 거부
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
SGAnalog: An End-to-End Circuit Benchmark from Open-Source Silicon Tapeouts
- 1.실리콘 테이프아웃 기반 오픈소스 아날로그 회로로 구성한 엔드투엔드 벤치마크 SGAnalog 공개
- 2.Tiny Tapeout 제조 셔틀 제출 273개 토폴로지 설계로 구성, 제출 시점 리비전으로 고정 검증
- 3.7개 모델의 66개 전사 과제서 최고 모델 정확 그래프 동형사상 56.1%, 소형→중형 전환 시 5개 모델 급락
- 4.17개 사이징 과제서 최고 모델 91.2/100 달성, 반면 최신 Claude 모델 2종은 같은 프롬프트 중 4개·11개를 거부
왜 중요한가?
암기가 아닌 전이 가능한 회로 설계 능력을 구분해 측정하는 최초의 벤치마크로, 모델 거부 행동이 능력 부족이 아닌 정책상 제약인 경우도 드러내 아날로그 회로 설계 AI 평가의 새 기준을 제시한다.
언급 프로젝트
본문 미리보기
arXiv:2610.03934v1 Announce Type: new Abstract: Existing analog integrated circuit design benchmarks make two questions hard to answer: whether a model has learned transferable circuit skills rather than recalled familiar examples, and whether its output works under defined process and test conditions. We introduce a benchmark built from human-designed, open-source circuits associated with Tiny Tapeout manufacturing shuttles. The collection contains 273 topologically distinct top-level designs.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안
