腾讯混元AI Infra进化：HPC-Ops推理核心算子全面升级

出处： mp.weixin.qq.com

HPC-Ops 是腾讯混元 AI Infra 团队开源并长期维护的一套工业级、高性能的大模型推理底层算子库。在首轮开源中，HPC-Ops 提供了 Attention、GroupGEMM 等在内多个高性能算子，原生支持 BF16 与多种 FP8 量化方案，针对常见的主流推理硬件进行了深度优化。近日，为了进一步满足推理系统对动态业务负载的适应性、核心模块对复杂精度和高性能融合算子的需求，HPC-Ops 推出全新更新升级，包含五大关键算子。本次升级在主流推理平台上，有效缓解了Attention长尾延迟、显存搬运开销、跨卡通信等实际工程瓶颈，多项性能指标显著优于现有的开源基线。