AWS가 Amazon Bedrock AgentCore Browser를 활용해 웹 인사이트 추출을 자동화하는 솔루션 구축법을 공개했다. EventBridge가 15분마다 RSS 피드를 확인하고, Lambda가 AgentCore 관리형 브라우저에 Playwright(CDP)로 접속해 JavaScript 중심 페이지까지 완전히 렌더링한 뒤 S3에 저장하며, SQS로 분리된 파이프라인에서 Bedrock이 요약·테마·엔티티·인사이트를 추출하고 벡터 임베딩을 생성해 OpenSearch Serverless에서 키워드·시맨틱 검색을 지원한다. 렌더링 1회에 10~30초가 걸려 비용이 높은 만큼 URL 해시 중복 제거가 필수이고, HTML 정제가 LLM 출력 품질의 전제 조건이라는 운영 교훈도 담았다. 경쟁사 모니터링·시장 조사 등 웹 모니터링 자동화를 검토하는 팀에 참고할 만한 이벤트 기반 아키텍처다.

• •AgentCore Browser가 관리형 원격 브라우저로 JavaScript 페이지를 안정적으로 렌더링, 규칙 기반 스크래퍼의 취약점 보완
• •EventBridge→Lambda→S3→SQS→Bedrock→OpenSearch Serverless로 수집과 처리를 분리한 이벤트 기반 구조
• •벡터 임베딩으로 키워드가 없어도 개념적 유사 콘텐츠를 찾는 시맨틱 검색 지원
• •브라우저 세션당 10~30초 소요로 비용이 높아 URL 해시 중복 제거가 필수라는 운영 교훈 공유
• •Bedrock Guardrails로 외부 웹 콘텐츠를 비신뢰 입력으로 취급하는 책임있는 AI 통제 권장, 전체 코드 GitHub 공개