이 칼럼은 기업용 AI가 세션 종료 시 맥락을 잃어버리는 문제를 짚으며, '컨텍스트 창(단기 처리 용량)'과 '영구 메모리(세션 간 저장)'를 구분해야 한다고 주장한다. 스탠퍼드 연구진은 긴 입력의 중간에 위치한 정보에서 정확도가 급격히 떨어지는 '로스트 인 더 미들' 현상을 확인했고, 2025년 연구는 창이 다 차기도 전에 성능이 저하되는 '컨텍스트 로트' 현상을 18개 프론티어 모델에서 발견했다. 필자는 단순히 컨텍스트 창을 키우는 것보다 무엇을 담을지 선별하는 '컨텍스트 엔지니어링'과 RAG 같은 검색 기법이 더 중요하며, 저장된 정보를 반복 요약·재작성하면 원본에서 점점 멀어지는 인간 기억과 유사한 오류가 발생할 수 있다고 지적한다.

• •컸텍스트 창(단기)과 영구 메모리(세션 간 저장)는 서로 다른 문제로 구분해야 함
• •스탠퍼드 연구: 긴 입력 중간의 정보는 앞·뒤 배치 정보보다 정확도가 크게 낮음('로스트 인 더 미들')
• •2025년 연구, 18개 프론티어 모델에서 창이 다 차기 전에 성능 저하되는 '컸텍스트 로트' 확인
• •단순 확장보다 무엇을 넣을지 선별하는 '컸텍스트 엔지니어링'과 RAG가 신뢰성 문제 해결에 효과적
• •저장된 메모리를 반복 요약·재작성하면 원본에서 멀어지는 오류 발생 가능, 검증·관리 필요