让Agent可评、可控、可迭代：业务效果导向的评测体系与场景实践

Source : mp.weixin.qq.com

策略效果类Agent评测面临反馈信号稀缺、评估多维权衡、离线与线上效果脱节三大难题。文章提出"五层、四步、三阶段"方法论：五层评测对象（从Prompt约束到业务效果）明确"评什么"；四步质量归因（诊断、定位、优化、验证）解决"评完怎么办"；三阶段上线治理（准入、灰度、监控）回答"如何上线"。针对离线评测与线上效果对齐难题，创新性提出Auto Rubrics方法，通过三层架构构建可解释的业务效果Judge体系，有效规避位置偏差、选择过拟合等系统性陷阱，实现策略效果的可信评估，为策略类Agent规模化落地提供质量保障。该方法论将评测从静态判断转变为动态闭环，确保策略生成能力真正可扩、可控、可回归。