淘特端侧模型从微调到应用的全链路实践

出处： mp.weixin.qq.com

本文总结了淘特 App 从 3 月到 8 月在端侧模型建设上的全链路实践。为解决用户实时意图识别及云端大模型延迟与成本问题，团队选用 QWen3-0.6B 作为基础模型，通过两代数据集迭代将真机准确率提升至 80% 以上。在工程实现上，采用 LoRA 微调、基于 ShortGPT 的深度剪枝以及 AWQ 量化技术，大幅优化了模型体积与推理性能；同时结合 Prompt 精简、Prefix Cache 和增量推理等手段显著降低了端到端延迟。最终该端模型成功落地于信息流重排序与流失前权益挽留场景，实现了 GMV 的正向增长，并针对 CDN 下载等隐形成本提出了按需下载等优化策略。