非算法工程师也能看懂，推理框架的来龙去脉

出处： mp.weixin.qq.com

继 Model、Harness 后，DeepSeek 再次开源了推理框架 DeepInfer，帮助企业彻底玩转智能体的进度条上新增了一块重要拼图，同时也将推理框架一词推向公众。虽然 Model、Harness 的概念已深入人心，但推理框架这个算法工程师才会使用的概念似乎还略显陌生。不过，它和我们使用模型的费用和体验息息相关，例如为什么的输出价格是输入的4倍，缓存命中的价格是未命中的1/50(以 DeepSeek 当前的定价为例)等等，相信本文对这些疑问会提供一些通俗易懂的解答。