Faas在哈啰AI平台的落地实践

Source : mp.weixin.qq.com Author : 哈啰AI平台

为什么哈啰AI平台需要Faas 一是运维复杂问题，AI平台有多种不同语言的模型推理服务，如python、C++（tf-serving）、Java等，各自管理上百个不同类型的模型；架构也很复杂，存在大型单体应用、多container应用、小型GPU应用等多种服务组织方式；同时，手动运维有余，自动化工具不足。二是稳定性问题，成百上千模型集中式部署，存在明显热点问题，在应对一些突发流量的时候，自动伸缩速度也存在问题。同时，模型cpu、gpu资源竞争问题也困扰了我们。三是IDC成本问题，存在资源利用率低的问题，有很大的提升空间。