腾讯AngelSlim重磅升级！面向全模态的大模型压缩算法工具包，推理速度飙升 1.8倍！
出处：
mp.weixin.qq.com
近年来，大模型正从能力竞赛走向工程落地，推理阶段的成本、时延与稳定性逐渐成为制约规模化应用的核心因素。在长上下文、高并发与多模态场景下，解码过程受限于算力与显存带宽，单纯依赖模型压缩或硬件堆叠的优化路径正逼近边际收益，促使业界重新审视推理机制本身的优化空间。在这一背景下，投机采样（Speculative Decoding）通过“小模型多步生成 + 大模型并行验证”，在保证生成质量的前提下减少大模型的有效前向计算。腾讯混元近期升级的 AngelSlim 围绕 Eagle3 投机采样训练范式 构建系统化实现，将投机采样提升为可训练、可迁移的加速能力，并扩展至 LLM、视觉语言与语音等多模态场景，在实际部署中最高可实现 1.9× 的推理加速，为多模态 AI 的实时化与规模化应用奠定基础。
