TMAP平台图生视频推理加速实践

Source : mp.weixin.qq.com

TMAP 平台针对图生视频模型在工业落地中面临的显存占用高、推理延迟大及成本昂贵等瓶颈，通过与“淘宝法象”团队合作，在多卡并行、Attention 加速、量化加速及缓存加速等领域进行了深入实践与优化。具体而言，平台采用 Deepspeed Ulysses 序列并行并结合通信重叠优化以降低单条请求延迟；引入 SageAttention 算子并设计层间选择性量化方案，在保持视频质量无损的前提下显著降低 Attention 耗时；通过线性层 W8A8/W8A16 混合量化解决显存溢出问题并消除 CPU Offload 开销；同时自研基于动态规划与路径感知成本张量的 DPCache 缓存方案，实现了比 TeaCache 和 TaylorSeer 更优的全局最优调度与加速效果。最终，该实践在生成质量肉眼不可区分的前提下，实现了除多卡外4.87倍的推理加速，将单次推理成本压缩至低于0.15元/秒。