통신 브랜딩 기업 퍼스트오라이언이 아마존 노바 액트(Nova Act)를 도입해 스크립트 기반 UI 테스트를 자연어 기반 AI 에이전트 테스트로 전환했다. QA 분석가가 "청구서 페이지로 이동해 총액을 확인하라"는 식의 영어 문장으로 테스트를 작성하면 에이전트가 화면을 이해해 다단계 작업을 자율 수행하며, 셀레늄·플레이라이트 방식과 달리 요소 선택자가 깨져도 테스트가 유지된다. 도입 결과 특정 테스트 유형의 QA 주기가 20~25% 단축됐고 엔지니어링 시간은 25~30% 절감됐으며, 테스트 커버리지는 최대 15%까지 늘었다. 테스트 작성 시간도 기존 며칠에서 수 분으로 줄었다.

• •퍼스트오라이언, 셀레늄·플레이라이트 대신 아마존 노바 액트로 QA 자동화 전환
• •QA 분석가가 자연어로 테스트 작성, 에이전트가 화면 이해해 자율 실행
• •특정 테스트 유형 QA 주기 20~25% 단축, 엔지니어링 시간 25~30% 절감
• •테스트 커버리지 최대 15% 확대, 작성 시간 '며칠→수 분'으로 단축
• •향후 Kiro·MCP로 코드 변경 기반 자동 테스트 생성 파이프라인 구축 계획