금융서비스 AI가 계약서 검토에서 최신 저장 파일(사실은 실수로 덮어쓴 구버전)을 선택해 결과가 어긋난 사례를 통해, AI 실패의 원인이 모델이 아니라 그 아래 놓인 업무 프로세스에 있을 때가 많다는 점을 지적한 기고문이다. AI는 산출물뿐 아니라 에스컬레이션과 의사결정 요청 속도까지 높이는데, 조직이 이를 흡수하지 못하면 AI가 대기하거나(효율성 상실), 직원이 옛 방식으로 회귀하거나, 검증 없이 승인을 서두르는 세 가지 부작용이 나타난다. 구두로만 합의된 '암묵지'(예: 문서화되지 않은 결제 예외 규정)는 AI 시스템 관점에서 존재하지 않아 '기술적으로는 맞지만 업무적으로는 틀린' 결과를 낳는다. 필자는 AI 에이전트 도입 전 조직이 문서화되지 않은 지식은 무엇인지, 최신·승인된 정보를 어떻게 식별할지, 기존 승인·에스컬레이션 절차가 AI 산출물의 양과 속도를 감당할 수 있는지 세 가지 질문에 답해야 한다고 제안한다.

• •계약서 검토 AI가 실수로 저장된 구버전 파일을 최신 파일로 인식해 오답을 낸 사례로 프로세스 문제를 조명한다.
• •AI 도입은 대기·구방식 회귀·검증생략 승인이라는 세 가지 부작용으로 이어질 수 있다.
• •구두로만 존재하는 '암묵지'는 AI 시스템에 반영되지 않아 기술적으로 맞지만 업무적으로 틀린 결과를 낳을 수 있다.
• •AI 에이전트 도입 전 문서화되지 않은 지식, 정보의 최신성 식별 방법, 승인 프로세스의 처리 용량을 점검해야 한다고 제안한다.
• •NIST AI 위험관리 프레임워크는 AI에 대한 인간 감독 역할과 책임을 명확히 정의할 것을 권고한다.