LLM이 프로그램을 반복 변이시킬 때 새로운 형태를 탐색하는지 같은 형태로 회귀하는지를, 선택 압력이 없는 도메인 특화 언어 환경에서 프롬프트 설계·모델 계열·확률적 복제를 바꿔가며 분석했다. 결과적으로 LLM 기반 변이는 프로그램 공간의 제한된 끌개(attractor) 영역으로 일관되게 수렴했다. 특히 구조 수준의 수렴이 심해, 체인의 87%에서 변이의 93% 이상이 이전에 본 구조 형태를 재방문했고 대부분의 변화는 반복되는 템플릿 내 말단 치환에 국한됐다. 사이클 분석은 짧은 사이클과 자기 루프가 전이 구조를 지배함을 보였다. 수렴 속도는 프롬프트 문구·모델 선택에 따라 달라지지만 현상 자체는 조건 전반에서 견고했다. 고전적 유전 프로그래밍 서브트리 변이 연산자는 비슷한 수렴을 보이지 않아, 이 효과가 LLM 변이 파이프라인에 내재함을 시사한다. 의미 인지 변환을 가능케 하는 능력이 동시에 구조적 동질화 편향을 낳아, 개방형 탐색 유지에 걸림돌이 됨을 드러낸다.
- •선택 압력 없는 환경에서 LLM 변이 체인을 분석, 프롬프트·모델·확률적 복제 변인
- •LLM 변이가 프로그램 공간의 제한된 끕개 영역으로 일관 수렴
- •체인의 87%에서 변이의 93% 이상이 기존 구조 형태 재방문, 대부분 템플릿 말단 치환에 그침
- •짧은 사이클·자기 루프가 전이 구조를 지배, 고전적 GP 변이 연산자는 유사 수렴 없음
- •의미 인지 변환 능력이 구조적 동질화 편향을 수반 → 개방형 탐색 유지에 주의 필요
Mutation Without Variation: Convergence Dynamics in LLM-Driven Program Evolution
- 1.LLM 기반 프로그램 변이 연구
- 2.새로운 형태 탐색 여부 분석
- 3.수렴 동학에 대한 통찰
왜 중요한가?
LLM이 프로그램을 변이시킬 때 새로운 솔루션을 탐색하는 방식과 기존 형태로 회귀하는 경향을 분석하여, LLM 기반 코드 생성 및 최적화의 한계와 가능성을 이해하는 데 필수적인 통찰을 제공합니다. 이는 LLM의 창의성 및 개발 효율성에 영향을 미칩니다.
국내 IT 기업들이 LLM 기반 코드 생성 및 개발 도구 도입에 적극적인 가운데, 이 연구는 LLM이 반복적으로 프로그램을 변형할 때 새로운 형태를 탐색하는지 혹은 기존 형태로 회귀하는지를 분석합니다. 이는 한국 개발 환경에서 LLM의 실제 창의성과 효율성을 가늠하고, 더 나은 AI 기반 개발 도구를 설계하는 데 중요한 통찰을 제공할 것입니다.
본문 미리보기
arXiv:2606.05408v1 Announce Type: new Abstract: When an LLM repeatedly mutates a program, does it explore new forms or circle back to the same ones? We study this question by analyzing LLM-driven mutation chains in the absence of selection pressure within a domain-specific language, varying prompt design, model family, and stochastic replication. We find that LLM-based mutation consistently converges toward restricted attractor regions in program space. Convergence is especially severe at the s
전체 내용이 궁금하다면?
원문을 직접 읽어보세요