메모리·RAG 평가는 흔히 답변 모델에 주어지는 입력 형태(메모리 항목, 요약, 타입 레코드, 원문 발췌 등)를 구현 세부사항으로 취급해 왔다. 연구진은 대화 내용은 고정하고 독자에게 노출되는 아티팩트 형태만 바꾸는 벤치마크 통제 기법 RENDER를 도입해, ChatGPT식 항목·LangChain 요약·MemGPT식 타입 레코드·원문 대화를 결정론적 템플릿으로 근사했다. LongMemEval 질문 500개와 모델 9종으로 실험한 결과, 예산을 맞춘 정제된 패킷이 최근성만으로 잘라낸 원문 대화보다 42.4~72.6점 더 높은 성능을 보였고, 배포형 템플릿 간에도 모델별 최선-최악 격차가 24.6~48.8점에 달했다. 정형 원장(ledger) 패킷에서 0%를 기록한 모델 3종도 동일한 사실을 자연어 항목으로 제시하면 45.4~53.4%를 답변해, 메모리·RAG 평가가 독자에게 노출되는 아티팩트 형태를 반드시 보고하거나 통제해야 함을 시사한다.

• •대화 내용은 고정하고 독자에게 노출되는 아티팩트 형태만 바꾸는 벤치마크 통제 RENDER 도입
• •정제된 패킷이 최근성 절단 원문 대화보다 42.4~72.6점 높은 성능
• •배포형 템플릿 간에도 모델별 최선-최악 격차 24.6~48.8점
• •정형 원장 패킷에서 0%인 모델도 자연어 항목 형태에서는 45.4~53.4% 답변