아마존이 AI 에이전트가 정상 작동하지만 성능이 느려지거나 메모리가 무한정 증가하는 문제를 진단·해결하는 방법을 다룬 기술 블로그를 공개했다. 클라우드워치와 아마존 베드록 에이전트코어 옵저버빌리티를 활용해 P95 응답시간이 예산(예: 3초)을 초과하는 요청을 찾아내고, 메모리 조회·툴 호출·토큰 생성·순차 처리 등 병목 원인을 구간별로 분석하는 쿼리 예시를 제시한다. 해결책으로는 캐싱과 연결 풀링, 네임스페이스 분할을 통한 메모리 조회 최적화, 프롬프트 길이 제한을 통한 토큰 생성 최적화, 독립적 도구 호출의 병렬화 등을 제안하며, 병렬화만으로 지연시간을 최대 50% 이상 줄일 수 있다고 설명한다. 장시간 세션의 메모리 무한 증가 문제는 통합(consolidation) 설정과 이벤트 만료 기간 설정으로 해결할 수 있다고 안내한다.

• •성능 저하와 메모리 무한 증가는 에러 없이 발생해 탐지가 늦어지는 대표적 운영 이슈
• •클라우드워치 쿼리로 지연시간 3초 초과 요청과 병목 구간(툴호출·메모리조회·토큰생성) 특정
• •해결책: 캐싱·연결풀링, 네임스페이스 분할 메모리 조회, 프롬프트 길이 제한, 병렬 처리
• •독립적 툴 호출 병렬화만으로 지연시간 최대 50% 이상 절감 가능
• •메모리 통합(consolidation) 설정과 이벤트 만료기간 조정으로 세션 메모리 폭증 방지