本文整理自 4 月 16 日的 2024 百度 Create 大会的公开课分享《百舸 AIAK-LLM：大模型训练和推理加速实践》。 今天要分享的主题是 AI Infra 相关的内容，主要内容分为四部分。 首先和大家一起讨论大模型给基础设施带来的挑战。 第二部分则是向大家介绍一个大模型训练和推理过程中的关键性能指标 MFU，以及为了提升这个 MFU 业界已经做的一些技术和手段。 第三部分则是从百度百舸 AIAK-LLM 实际落地过程中遇到的一些问题出发，通过解决这些问题我们将大模型训练和推理的 MFU 提升到了一个非常好的状态。 最后一部分则是从产品维度简单介绍下相关能力和理念。
随着以ChatGPT、文心一言为代表的大语言模型相继涌现，AI+电商也带来新的购物体验和新的经营模式。 「电商AI数字人直播解决方案-慧播星」依托自研StyleSync技术/音频自恢复预训练技术/文心一言/自研PicGen技术等，实现AI复刻/定制优质主播、稳定7*24小时在线开播。低成本搭建多元直播场景，专家级商品讲解、实时互动问答、丰富的互动形态精准传达信息，既让消费者获得全新的购物体验，也赋能中小商家零门槛、零成本一键创建商品售卖直播间、助推GMV增量，减少生产成本，实现消费体验和生产效能的“双提升”。
近日，在全球软件开发大会上暨智能软件开发生态展上，来自 Baidu Comate 的资深研发工程师分享了精彩的专题演讲，小编整理了演讲精华，和大家一起玩转“大模型+软件研发”。 今天带来——吴玮琦《智能代码助手 Baidu Comate 的核心能力揭秘》，一起解锁 Baidu Comate 硬核能力。
在这个数据驱动的时代，我们每天都在与海量的用户数据打交道。这些数据不仅是洞察用户行为的宝贵资源，也是推动产品创新和市场决策的关键。然而，面对大数据的挑战，尤其是数十万、数百万级别的规模，我们经常会遇到软件性能不足的问题，比如中途卡顿、崩溃、页面闪退，或有数据清洗、匹配等一系列繁琐的数据预处理过程，耗费大量的时间和精力。 在这样的背景下，对日常用户研究的量化工作来说，选择一款高效好用、容易上手的数据处理和分析软件，能让研究过程事半功倍。 在用户研究工具探索和学习过程中，KNIME（Konstanz Information Miner）这款软件脱颖而出。它于2004年由康斯坦茨大学软件工程师团队研发，目前已被广泛应用于制造业、汽车、能源、电信、媒体技术、金融、零售与消费等多个行业领域。 KNIME在驾驭大数据、融合多元分析工具以及实现任务自动化等方面展现出显著的优越性。对于需要进行大规模数据处理、复杂分析或重复性任务的研究场景来说，KNIME是一个很好的“增效”选择。
测试用例作为质量保障的核心，影响着研发-测试-发布-上线的全过程，如单元测试用例、手工测试用例、接口自动化用例、UI 自动化用例等，但用例撰写的高成本尤其是自动化用例，导致了用例的可持续积累、更新和迭代受到非常大制约。长久以来，我们在用例创作技术上一直未有过很大的突破，协助 QA 做好最基本的工作。 直到2023年，生成式 AI 的到来，为用例智能创作带来了可能，借由 AI 技术，尤其是生成式 AI，一切就变得不一样了。 我们可以通过 AI 更好地理解需求，理解 UI 页面，理解接口访问的含义，智能化的生成测试用例，辅助研发测试提效的同时借由数据飞轮不断巩固沉淀测试经验。 为此，百度移动生态质量效能部启动了 QAMate 用例智能创作项目，从基于需求生成脑图用例，基于真机操作的 UI 自动化用例录制回放，基于流量或代码生成接口自动化用例三个场景深耕，通过 AI 技术实现测试用例的智能创作，进而辅助研发测试提效，为业务质量保驾护航。
由于外部环境的变化，适用于大模型训练任务的 GPU 整体规模无法继续增长。这些存量 GPU 组成的集群，仍然是当前加速大模型训练的主要 AI 算力来源。同时，各类国产 AI 芯片开始大规模投入实际生产任务。在未来一段时间内，数据中心的 AI 算力将保持多种芯片并存的现象。 但是，当前基础大模型训练所需要的最大 AI 算力集群规模，已经从单一集群千卡逐步提升至万卡量级。同时，很多智算中心已经部署的 GPU 集群，通常是十几台至数百台服务器不等，难以满足未来行业大模型训练的需求。 所以，在已有 AI 算力集群的基础上，构建由 GPU、昆仑芯、昇腾等不同芯片混合组成的单一集群，为大模型训练提供更大 AI 算力，成为了一个自然的选择。
本文由飞桨星河社区开发者张洪申贡献。张洪申，本科毕业于浙江大学竺可桢学院求是数学班，目前浙江大学控制科学与工程学院博士在读，研究方向为数据科学、电力系统。科研工作曾被 Nature 官方公众号 Nature portfolio 专题报道。
本文整理自 2024 年 4 月 QCon 全球软件开发大会（北京站） 性能优化专题的同名主题分享。 当前数据中心的服务器中部署着各类 CPU（Intel/AMD/Ampere 等），这些平台的差异，使得运行在上面的程序无法保证始终运行在最佳状态，成为了提升业务效能的一大阻碍。 CPU 性能调优，这不仅要求工程师对各个平台有着深入的理解，同时需要掌握各类性能分析工具和方法，并依据得到的观测数据，综合诊断出真正的瓶颈原因，并据此展开优化操作，最终提升业务表现。 这种传统的 CPU 性能调优方式，对工程师的能力和经验都有着不小的门槛，难以在更大规模范围地普及，使得很多客户对表现不理想的程序束手无策。 百度智能云推出的一键调优套件 Btune，实现了整个 CPU 性能调优过程的一键自动化，使得用户能够快速完成瓶颈定位，实现性能优化。
随着AI生图时代的来临，设计团队致力于通过AI训练自有设计风格的模型资产，以此来为业务提效。鉴于节气卡的高覆盖率、高复用率和高收益，我们选择了这一场景进行新中式风格的升级和模型训练尝试。 我们的目标是通过精细化设计打造落地新中式风格的节气卡，同时沉淀设计方法和AI模型训练经验，以便辐射更多业务场景，同时为百度APP进行运营特色风格探索。
