이 연구는 AI 코딩 어시스턴트가 동일 사용자에게 반복되는 모호한 요청 패턴을 과거 해결된 세션 기록을 메모리로 활용해 해소할 수 있는지를 '개인화된 모호성 적응'이라는 새로운 과제로 정의한다. 이를 벤치마킹하기 위해 여섯 가지 메커니즘으로 코딩 모호성을 특징화하고 3단계 통제 생성 파이프라인으로 모호성을 명확한 실행 과제에 주입한 CAPA를 도입했으며, 60개의 균형 잡힌 사용자-모호성 셀에 걸친 600개 코딩 세션(held-out 평가 세션 300개 포함)으로 구성된다. 기록 없음과 동일 사용자 기록 제공 조건에서 12개 최신 LLM을 실행 성공률·첫 턴 성공률·완료까지 턴 수로 평가했고, 가벼운 추론 시점 기법으로 '동일 사용자 기록 게이팅'을 추가로 제안했다. 이는 반복 clarification을 줄이면서 사용자 의도에 맞는 코드를 생성하는 장기 코딩 어시스턴트 개발의 토대를 제공한다.
- •동일 사용자의 과거 해결 세션을 메모리로 활용하는 '개인화된 모호성 적응' 과제 정의
- •6개 모호성 메커니즘, 3단계 생성 파이프라인으로 구성된 CAPA 벤치마크(600개 세션) 도입
- •12개 LLM을 기록 없음·동일 사용자 기록 조건에서 실행 성공률 등으로 평가
- •가벼운 추론 시점 기법 '동일 사용자 기록 게이팅' 제안
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Fewer Clarifications, Better Code: Benchmarking Cross-Session Personalized Ambiguity Adaptation in Coding Assistants
본문 미리보기
arXiv:2607.26611v1 Announce Type: new Abstract: AI-assisted coding increasingly translates informal user intent into executable software, yet coding requests often contain ambiguities that recur in user-specific ways across tasks and sessions. Existing disambiguation methods typically address each ambiguous request in isolation within the current coding session, often through eliciting additional clarification. However, whether resolved session history from the same user can serve as memory for
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:49AI 초안
