OR算法+ML模型混合推理框架架构演进

Source : mp.weixin.qq.com

本文介绍了OR算法+ML模型混合推理能力建设思路及业务背景，此场景相比常规模型推理更具特殊性和复杂性，在工程实现上面临多维挑战，因此本文分别从性能、稳定性和扩展性三个维度分析问题和解法，并以推理框架架构演进为线总结了过去两年的分期迭代实践历程和收益，其中有一些较为通用的经验，希望能够给大家带来一些帮助或启发。