AWS가 인프라는 정상인데도 대시보드 내용이 비거나 오래된 데이터, 잘못된 수치를 표시하는 '침묵의 실패'를 아마존 베드록 기반 LLM으로 자동 탐지하는 시스템을 구축한 사례를 공개했다. 이 솔루션은 매시간 대시보드 화면을 캡처해 클로드 모델로 시각적 이상을 탐지하고, 주간 데이터 갱신 시에는 LLM이 지표를 추출한 뒤 결정론적 코드로 수치를 비교하는 이중 검증 구조를 사용한다. 30일간 15만3000건의 자동 점검을 수행해 802건(0.52%)의 콘텐츠 실패를 탐지했으며, 이 중 사용자 신고가 접수된 사례는 1% 미만에 불과해 기존 방식으로는 사실상 감지가 불가능했던 문제임이 확인됐다. 이를 통해 탐지 평균 소요 시간이 최대 72시간에서 1시간 이내로 단축됐다.

• •인프라는 정상인데 대시보드 콘텐츠만 잘못되는 '침묵의 실패'를 베드록 LLM으로 자동 탐지한다.
• •시각 이상은 클로드 모델이, 수치 비교는 결정론적 코드가 담당하는 이중 검증 구조를 채택했다.
• •30일간 15만3000건 점검에서 802건(0.52%)의 콘텐츠 실패를 발견했고 사용자 신고는 1% 미만이었다.
• •탐지 소요 시간이 최대 72시간에서 1시간 이내로 단축됐다.