CriticGen은 기존 LLM 평가 방식이 거칠고 생성 과정과 분리돼 실질적인 개선 피드백을 주지 못한다는 문제를 해결하기 위한 세밀하고 생성 인지적인 평가 프레임워크다. 샘플별로 주관적·객관적·자기유도 제약이라는 상위 범주 아래 평가 차원과 채점 기준을 먼저 생성한 뒤, 이를 동적 루브릭으로 삼아 점수·이유·실행 가능한 개선 제안·수정된 답변을 한 번에 산출한다. 실험 결과 CriticGen은 루브릭의 관련성·커버리지를 3.33/4.03에서 3.97/4.24로 높였고, 점수 상관관계는 피어슨 0.9556·스피어만 0.9560으로 최고 수준을 기록했다. 무엇보다 이 피드백이 실제 답변의 73.17%를 개선시키면서도 93.28%는 품질이 떨어지지 않는 신뢰할 만한 개선으로 이어졌다.

• •샘플별 동적 루브릭을 생성해 점수·이유·개선안·수정답변을 함께 산출하는 CriticGen 제안
• •루브릭 관련성·커버리지를 3.33/4.03→3.97/4.24로, 점수 상관관계를 피어슨 0.9556까지 향상
• •근거 기반 이유·실행 가능 제안의 F1을 0.60 안팔에서 0.75~0.79로 크게 개선
• •실제 답변의 73.17%를 개선시키면서 93.28%는 품질 저하 없이 유지