在内网上有太多的架构相关的文章了(比如大名鼎鼎的自顶向下),我之前也写过应用架构设计的经验。但是总有种雾里看花的感觉,好像有很多相关的知识,soa、分布式事务、DDD、复杂系统重构、领域建模、业务架构、等等等,这些复杂的名词和知识感觉学了一堆仍然不得其法。 所以我准备把我这些年在支付宝做架构,自己摸索成长的内容写下来,看能否帮助到大家。
在淘宝前三年,我主要偏向研究 2d计算机视觉算法,相比于研究GAN、Transformer等热门课题,我更偏向解决一些算法在工业界落地遇到的常见问题,如深度学习模型训练中,常遇到训练数据不足、数据有噪声等问题,所以我更感兴趣噪声标签识别、主动学习等类型算法,也发表了简单实用的O2U-Net[5] (ICCV 2019) 噪声识别算法;另外算法推理性能提升,也是工业应用常见问题,比如在手机端部署CNN模型,需要提升模型推理效率,可能需要模型压缩、剪枝技术,也是我感兴趣的方向之一。 这两年随着元宇宙的爆发,内部团队项目的调整,我也转而开始加入到 元宇宙数字世界构建探索中,开始探索低成本高质量3D建模应用。2022年双十一,淘宝Meta 团队推出的 低成本高质量3D建模工具-Object Drawer,首次将学术界神经渲染3D建模算法(NeRF[1])在工业界规模化落地,实现了十几种品类的低成本建模(成本下降了70%)。我的工作职责主要是Object Drawer性能优化,下面聊一聊性能优化经历。
分布式共识算法是保证分布式一致性的基础,本文主要以简化类比的方式阐述了Paxos算法中的单法令教会会议(The Single-decree SYNOD)的算法。
蚂蚁集团芝麻企业信用作为一个 tob 业务,在每个方向上设定合适的技术头狼非常重要,头狼作为业务战场的一号位,总结下来需要做以下几件事情: 了解业务背景、行业以及战场 与业务充分沟通,并理解业务背后的思路 人力盘点,对战场人力划分 整体的技术架构设计 多方协作问题处理 业务数据的思考 推进业务优化升级 以上 7 点是个相对通用的方法论,不论什么业务,其实都可以往里带入,以下根据具体案例,分节详细讨论这 7 点。
除了相关性,复杂信息流推荐场景还需要兼顾多样的业务需求,包括打散(多样性),流量调控,多展示形态/多路供给融合等。传统推荐系统采用pipeline的形式,分步处理上述需求,缺少统筹优化,这些模块之间常出现矛盾与覆盖,限制场景推荐效果。我们提出全新的基于Generator-Evaluator(GE)架构的重排模型,它不仅能够突破传统相关性贪心排序的范式,以序列整体效果为目标生成序列,还能突破pipeline的推荐范式,在一个模型中有机融合复杂业务规则,给出end2end联合最优解。我们在淘宝信息流场景验证了提案的有效性,并全量上线。