해석가능성 연구자 닉 카마라타는 '신경망은 이미 깨끗하다'는 에세이에서 신경망 내부가 기존 믿음보다 훨씬 이해하기 쉽다고 주장하며, 자신이 과거 제시했던 '중첩(superposition)' 가설 일부를 스스로 철회했다. 그는 유명한 '고양이-자동차' 뉴런이 실은 뾰족한 모양을 감지하는 단일 개념의 탐지기였다고 재해석했고, Qwen3-32B 모델에서는 뉴런의 약 90%가 단일한 주요 역할을 한다는 예비 수치도 제시했다. OpenAI의 룬은 이를 '역사적 순간'이라며 환영했지만, 구글 딥마인드의 닐 난다는 중첩 현상이 여전히 실재한다며 과대평가를 경계했다. 기술 검증 논문은 아직 공개되지 않았으며, 연구자들 사이의 평가는 엇갈리고 있다.
- •닉 카마라타, '신경망은 이미 깨끗하다' 에세이로 과거 자신의 '중첩' 가설 일부 철회
- •유명한 '고양이-자동차' 뉴런을 뾰족한 모양 탐지기로 재해석, Qwen3-32B서 뉴런 90% 단일 역할 추정
- •OpenAI 룬은 '역사적 순간'이라 환영, 구글 딥마인드 닐 난다는 중첩은 여전히 실재한다며 반박
- •기술 검증 논문 미공개 상태로 연구자들 사이 평가 엇갈려
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Is AI interpretability close to a breakthrough? A new essay has researchers divided
- 1.Goodfire 연구원 닉 카마라타, '신경망은 이미 깨끗하다' 에세이서 뉴런 90%가 명확한 단일 기능을 수행한다고 주장
- 2.유명한 InceptionV1 '고양이-자동차' 뉴런을 중첩(superposition) 사례가 아닌 'V자형 탐지기'로 재해석
- 3.Qwen3-32B 분석 결과 뉴런극의 90%가 단일 기능, 7%는 두 개 연관 기능, 2~4%만 설명되지 않음
- 4.구글 딥마인드 닐 난다는 신중론 제기, 중첩 이론은 여전히 유효하며 돌파구로 보기는 어렵다고 반박
왜 중요한가?
해석가능성이 실제로 이만큼 개선됐다면 AI의 기만 행동을 직접 탐지할 길이 열려 정렬(alignment) 연구의 핵심 난제를 해소할 수 있지만, 아직 검증되지 않은 주장이라 연구자들 사이 입장이 크게 갈리고 있다.
본문 미리보기
Neural networks may be much easier to read than researchers assumed, with about 90 percent of neurons serving a clear function. That would be big news for AI safety research, since deception or dangerous behavior could be spotted directly in a model's circuits. Researchers are still debating whether the thesis holds up. The article Is AI interpretability close to a breakthrough? A new essay has researchers divided appeared first on The Decoder.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:33AI 초안
