AWS가 여러 모델에 걸쳐 프롬프트를 한 번에 최적화하고 성능을 비교할 수 있는 '어드밴스드 프롬프트 옵티마이제이션' 기능을 아마존 베드록에 출시했다고 밝혔다. 이 도구는 프롬프트 템플릿과 평가 지표(람다 함수, LLM 심사, 또는 자연어 기준)를 받아 최대 5개 모델에 대해 '평가-재작성' 루프를 반복하며 프롬프트를 자동으로 개선한다. AWS가 공개한 실제 실행 결과에 따르면 요약 과제(XSum)는 품질 점수가 0.550에서 0.743으로, 함수 호출 과제(NESTFUL)는 0.267에서 0.647로, 문서 시각질의응답(MM-VQA)은 0.339에서 0.777로 각각 크게 개선됐다. 다만 품질 향상은 대부분 입력 토큰 증가를 동반해 비용이 함께 늘기 때문에, AWS는 응답 길이를 줄이는 목표를 평가 기준에 포함시켜 비용과 품질의 균형을 맞출 것을 권장했다.

• •프롬프트 템플릿 하나로 최대 5개 모델을 동시에 최적화·비교
• •람다 함수·LLM 심사·자연어 기준 등 3가지 평가 방식 지원
• •요약(XSum) +35%, 함수호출(NESTFUL) +143%, 문서VQA(MM-VQA) +129%, 지시이행(IFBench) +115% 품질 향상
• •품질 향상은 대체로 입력 토큰 증가(비용 상승)를 동반, 출력 토큰은 오히려 줄어드는 경우도
• •작업당 템플릿 10개, 모델 5개, 평가 샘플 100개 등 세부 한도 적용