GaiaX 跨端模板引擎,是在阿里文娱内广泛使用的 Native 动态化方案,其核心优势是性能、稳定和易用。本系列文章《GaiaX 开源解读》,带大家看看过去三年 GaiaX 的发展过程。
最近在学习K8S,基础的知识参考于《Kubernetes in Action》。看完整本书基本上用了2~3个月的时间,进度比较慢;主要都是每天早晨到公司后,在正常工作时间之前的1个小时里完成的。由于时间拉的很长,各章的知识在我脑袋里是散状的,所以在我整理这篇笔记的时候,就想通过一个主题,把相关的内容串起来。第一篇笔记定的主题是“调度-当我们部署应用的时候都发生了什么?”,先从大的框架上记录一下K8S的架构与原理;对于卷、网络、configmap等组件会放在第二篇。初学者级别的学习笔记,有问题的地方大佬们及时勘误。 我在这里先给大家简单描述一下,当我们在aone里手动点击了升级之后,k8s里都发生了什么? 当我们在aone里手动点击了重新部署,aone会通过k8s的api接口通知master节点创建一个Deployment,Deployment会按照配置里的声明要求创建一个新的RepliactionSet,RepliactionSet会按照配置的创建一个或者若干个Pod,pod会调度到相应的工作节点上,通过docker拉取镜像,启动应用。
以前构建应用,需要买 ECS 实例,搭建开源软件体系然后维护它,流量大了扩容,流量小了缩容,整个过程非常复杂繁琐。 用了 Serverless 服务以后,这些问题都简化了,从半托管到全托管,所有服务 API 化,无限容量充分弹性,可以组装使用,生产力大幅改变。同时推动软件研发模式升级,组装式研发将成为主流。 基于阿里云全面 Serverless 化的经历,阿里巴巴研究员、阿里云智能云原生应用平台总经理丁宇(叔同)阐述了企业应用架构的演进历程,以及 Serverless 兴起带来的行业变化。
闲鱼推荐的演进历程和这四个特性密不可分,所以闲鱼推荐大致可以分成四个阶段 • 阶段一:圈品+离线打分。这个阶段推荐主要靠圈品+离线算分为主,无个性化,时效性天级。 • 阶段二:少量算法。阶段二开始在首页核心场景引入算法,以天级的I2I为主,但推荐底池时效性已经到了秒级。 • 阶段三:扩大应用。随着业务拿到算法第一波红利,越来越多的业务开始接入算法。特征和模型时效性也从天级提升至小时级,闲鱼首次引入招选搭投,应用大规模铺开。 • 阶段四:随着业务快速成长,规模快速扩大,底层基建迎来大规模升级。全图化,模型自动压缩,通用推荐等实现从0到1的越跃变。
结构化思维是一种将信息要素从无效转化为有序,提炼核心要点,将信息转化为有结构的知识,更好的帮助大脑理解和记忆,并支持我们清晰表达的通用能力。
近日,阿里巴巴在国际顶级机器学习会议NeurIPS 2022上发表了新的自研训练模式 Gloabl Batch gradients Aggregation(GBA,论文链接:https://arxiv.org/abs/2205.11048),由阿里妈妈事业部搜索广告团队和智能引擎事业部XDL训练引擎团队联合探索和研发。GBA的提出对阿里巴巴搜推广稀疏模型的训练范式带来了架构性的跨越式升级。本文将从GBA的设计思路、收敛性分析及工程实现等方面展开介绍,欢迎阅读交流。 在过去一段时间内,高性能同步训练架构在阿里巴巴稀疏场景的全面落地,解决了稀疏场景无法充分利用GPU,以及缺乏高效的同步训练方案两个“硬骨头”。从资源性能角度,使得不同场景的深度学习任务训练加速比(每天训练样本日期数量)提高5~10倍,并利用GPU带来3~5倍的成本优势,节省训练开销可达每年千万量级;从业务效果角度,同步训练模式优化给部分广告业务带来了CTR指标百分位的提升。在这个时间点,GBA通过对同步和异步训练自由切换的技术突破,使得低配集群的资源也充分利用起来。GBA算法使得高性能资源和普通资源具有通用性
软件交付的终态是提供一个稳定可预期的系统,可预期的系统要确保环境和软件制品的一致性。而在软件研发协作的过程中,无论是制品、环境,还是发布过程,往往都是定义在代码里的。 软件交付体现为发布,而提升交付能力的目标,是要发的容易,发的频繁,增量要多,每次发的时间要少。