使用基于有限有向图的调度框架,可以控制在线服务中异步调度的流程,但这对分支路径的管理不够友好,随着节点增多,调度流程会越来越复杂而难以控制。因此我们实现了支持分支路径的图调度框架,解决普通图调度框架可扩展性差的问题。
2018年起,vivo以容器作为基础底座,打造了一站式云原生机器学习平台。向上支撑了算法中台,为算法工程师提供数据管理、模型训练、模型管理、模型部署等能力,为广告、推荐和搜索等业务赋能,成功为算法实现了降本、提效,让云原生和容器价值初露锋芒。基于机器学习平台的试点成果,经过算法场景的试点实践和价值分析,对内部战略做了升级。确定基于云原生理念去构建行业一流的容器生态,实现规模化的降本提效目标。 本文会详细介绍vivo在容器集群高可用建设中的具体实践,包括在容器集群高可用建设、容器集群自动化运维、容器平台架构升级、容器平台能力增强、容器生态打通等层面的打磨和建设。目前,vivo容器产品能力矩阵逐渐趋于完善,并将围绕全面容器化、拥抱云原生和在离线混部三个方向继续发力。
本文是《OKR 之剑》系列之实战第 1 篇。 —— OKR 的制定,在形式上,并非仅仅是召开几次会议,在目的上,也并非是为了输出一份计划。OKR 的制定,对于管理者是一种对齐认知的手段,对于员工是一种激发内在动机的方法,对于团队是一次“上下同欲”的过程。经过不断地碰撞、磨合,让目标更加公开、透明,让大家能够用心去感受工作的价值,让优秀的员工逐渐浮出水面,最终为组织带来真正的价值。
闲鱼推荐的演进历程和这四个特性密不可分,所以闲鱼推荐大致可以分成四个阶段 • 阶段一:圈品+离线打分。这个阶段推荐主要靠圈品+离线算分为主,无个性化,时效性天级。 • 阶段二:少量算法。阶段二开始在首页核心场景引入算法,以天级的I2I为主,但推荐底池时效性已经到了秒级。 • 阶段三:扩大应用。随着业务拿到算法第一波红利,越来越多的业务开始接入算法。特征和模型时效性也从天级提升至小时级,闲鱼首次引入招选搭投,应用大规模铺开。 • 阶段四:随着业务快速成长,规模快速扩大,底层基建迎来大规模升级。全图化,模型自动压缩,通用推荐等实现从0到1的越跃变。
结构化思维是一种将信息要素从无效转化为有序,提炼核心要点,将信息转化为有结构的知识,更好的帮助大脑理解和记忆,并支持我们清晰表达的通用能力。
在使用BI工具的时候,经常遇到的问题是:“不会SQL怎么生产加工数据、不会算法可不可以做挖掘分析?” 而专业算法团队在做数据挖掘时,数据分析及可视化也会呈现相对割裂的现象。流程化完成算法建模和数据分析工作,也是一个提效的好办法。 同时,对于专业数仓团队来说,相同主题的数据内容面临“重复建设,使用和管理时相对分散”的问题——究竟有没有办法在一个任务里同时生产,同主题不同内容的数据集?生产的数据集可不可以作为输入重新参与数据建设?