由于外部环境的变化,适用于大模型训练任务的 GPU 整体规模无法继续增长。这些存量 GPU 组成的集群,仍然是当前加速大模型训练的主要 AI 算力来源。同时,各类国产 AI 芯片开始大规模投入实际生产任务。在未来一段时间内,数据中心的 AI 算力将保持多种芯片并存的现象。 但是,当前基础大模型训练所需要的最大 AI 算力集群规模,已经从单一集群千卡逐步提升至万卡量级。同时,很多智算中心已经部署的 GPU 集群,通常是十几台至数百台服务器不等,难以满足未来行业大模型训练的需求。 所以,在已有 AI 算力集群的基础上,构建由 GPU、昆仑芯、昇腾等不同芯片混合组成的单一集群,为大模型训练提供更大 AI 算力,成为了一个自然的选择。
本文由飞桨星河社区开发者张洪申贡献。张洪申,本科毕业于浙江大学竺可桢学院求是数学班,目前浙江大学控制科学与工程学院博士在读,研究方向为数据科学、电力系统。科研工作曾被 Nature 官方公众号 Nature portfolio 专题报道。
本文整理自 2024 年 4 月 QCon 全球软件开发大会(北京站) 性能优化专题的同名主题分享。 当前数据中心的服务器中部署着各类 CPU(Intel/AMD/Ampere 等),这些平台的差异,使得运行在上面的程序无法保证始终运行在最佳状态,成为了提升业务效能的一大阻碍。 CPU 性能调优,这不仅要求工程师对各个平台有着深入的理解,同时需要掌握各类性能分析工具和方法,并依据得到的观测数据,综合诊断出真正的瓶颈原因,并据此展开优化操作,最终提升业务表现。 这种传统的 CPU 性能调优方式,对工程师的能力和经验都有着不小的门槛,难以在更大规模范围地普及,使得很多客户对表现不理想的程序束手无策。 百度智能云推出的一键调优套件 Btune,实现了整个 CPU 性能调优过程的一键自动化,使得用户能够快速完成瓶颈定位,实现性能优化。
随着AI生图时代的来临,设计团队致力于通过AI训练自有设计风格的模型资产,以此来为业务提效。鉴于节气卡的高覆盖率、高复用率和高收益,我们选择了这一场景进行新中式风格的升级和模型训练尝试。 我们的目标是通过精细化设计打造落地新中式风格的节气卡,同时沉淀设计方法和AI模型训练经验,以便辐射更多业务场景,同时为百度APP进行运营特色风格探索。
本文介绍了增长前端团队自研的Webview框架下透明视频视觉增强方案,该方案在保证对视觉进行高度还原的同时可投入更少的开发成本,还能获得更优的前端性能表现。文章首先分析了市面上动画方案的优缺点,然后详细介绍了透明视频的整体设计、实现方法、使用流程和在运营活动中的使用案例。该方案通过在视频中添加透明通道,利用OpenGL和Canvas实现了视频动画,同时通过资源的预加载和缓存优化了加载过程,开发者还可通过叠加svg和css3等其他技术进行氛围增强。希望给到前端同学在开发动效方面一点小小启发和助力。
本文主要介绍了商业智能(BI)以及Turing Data Analysis(TDA)的概念和应用。BI通过收集、整理、分析和呈现数据,帮助企业做出更好的决策和战略规划。然而,传统的BI建设思路存在问题,如业务变更数据需求时需要重新开发,以及分析底层数据的效率低等。因此,TDA作为一站式自助分析平台应运而生,它基于明细数据,按照分析主题建设公共数据集,用户可以自由拖拽分析并一键保存结果,同时也可以分享给其他人查看。然而,TDA的建设也面临着分析维度指标要全,数据口径要准,以及查询性能等挑战。针对这些挑战,我们提出全、准、效、快的目标,并通过流程机制和功能建设以及MPP数据引擎来实现这些目标。
数字时代中,标签在购物网站、社交媒体、搜索引擎等各个领域都发挥着重要作用。尽管标签的面积较小,它们却能够为用户提供关键信息,帮助用户快速做出决策。因此,设计一个合理、规范的标签体系成为了许多平台需要面对的挑战。作为百度旗下的B2B平台,爱采购通过不断优化标签体系以提升用户体验。下面将以此为例,简述B2B平台标签体系的设计优化思路。
离业务决策越近,高时效性数据带来的业务价值越大。实时计算过去面临最大的瓶颈是易用性问题,业务常常迫于迭代运维复杂度放弃实时化。我们基于多年深耕商业实时化场景的思考,提出RTS-场景化端到端全托管,彻底释放实时化的潜能。对大数据和实时化感兴趣的小伙伴们,欢迎交流探讨!