支付宝商家中心(b.alipay.com)是支付宝官方的商家服务平台,面向蚂蚁生态内所有商家,聚合产品签约、账户资金管理、营销运营、账单对账等能力,为商家提供一站式综合服务,帮助其更高效地开展日常经营，我们团队负责该平台的 PC 端业务测试。
本文介绍了“高价率运营 AI 工作台”中基于“约定驱动 + AI 编排”架构的自动化评测优化实践。针对 LLM Agent 场景下传统测试失效、反馈周期长等痛点，文章详细阐述了将评测体系作为核心工程产物的设计方案：通过标准化目录结构固化规范，利用 Coding Agent 实现自然语言驱动的全流程自动化；构建包含真实业务数据驱动的评测集生成、14 个通用维度与专项指标结合的 Rubric 体系、以及采用二元评分机制的 LLM Judge 双引擎架构（auto-evaluation 与 pinchbench-eval）。同时，文章深入剖析了金标设计中的信息隔离、粒度匹配等关键陷阱，并探讨了从半自动向全自动演进过程中，在评测入口、指标自动迭代及记忆机制等方面面临的技术挑战与应对策略，最终实现了将 Skill 可用性从主观判断转化为可量化、可复跑的工程闭环。
交付代码的成本已经接近免费了，但交付好代码的成本依然很高。Harness Engineering 做的事情，就是把"好代码"的标准写进系统里，让 AI 在约束下自己干活。
过去一个月，我们在搭建一个面向本地生活业务的分析类 Skill，让 AI 能像资深分析师一样做经营诊断、归因拆解和趋势预测。业务覆盖几十个行业，每个行业有独立的经营框架和指标体系，复杂度远超一个 prompt 能承载的范围。搭建过程中，我们经历了三次架构重构（V1 → V2 → V3），每次都是被真实问题逼出来的。这篇文章完整复盘了这个演进过程，最终提炼为六条 Skill 架构设计原则。如果你正在搭建领域知识密集型 Skill，或正面临「prompt 越写越长但效果越来越差」的困境，这篇文章或许能够提供一些思路。每章独立成节，可按需跳读。
