AI 코딩 어시스턴트가 소프트웨어 개발을 빠르게 변화시키고 있지만 안전하지 않은 코드를 생성하는 것으로 알려져 있다. 기존 연구는 AI 지원 개발자가 안전한 코드를 만드는지는 측정했지만, 개발자가 AI 생성 코드를 어떻게 평가하는지—취약점을 식별할 수 있는지, 어떤 단서를 활용하는지, 신뢰가 의사결정에 어떤 영향을 미치는지—는 잘 알려지지 않았다. 연구팀은 100명을 대상으로 이 평가 단계만 분리한 원격 관찰 연구를 수행했으며, 참가자들은 네 가지 C 연결리스트 과제에서 보안성과 기능성이 다른 다섯 개의 AI 생성 제안을 순환 검토하고 하나를 골라 수정해 최종 제출했다. 참가자들은 사후 설문에서 의사결정 과정과 AI 생성 코드 보안성에 대한 인식을 답했으며 23명은 심층 인터뷰도 진행했다. 이는 자동완성·챗봇·에이전트 등 AI 기반 안전한 개발의 근간이 되는 평가 단계를 최초로 분리해 조명한 연구다.

• •AI 코딩 어시스턴트가 안전하지 않은 코드를 생성하는 가운데, 개발자의 '평가' 단계 자체를 분리해 연구했다
• •100명이 네 가지 C 연결리스트 과제에서 보안성·기능성이 다른 다섯 개 AI 제안 중 하나를 선택해 수정·제출했다
• •참가자들은 사후 설문과 23명 심층 인터뷰를 통해 신뢰가 의사결정에 미치는 영향을 답했다
• •AI 생성 코드에 대한 개발자의 취약점 식별 능력과 단서 활용 방식을 처음으로 조명한 관찰 연구다