几天前，K8s Network SIG 发布了 Gateway API（简称 gwapi）的 v1.1 版本[1]，这个版本的发布包含了多项重要功能的 GA（一般可用），以及一些实验功能的引入。这两部分分别通过标准渠道和实验渠道发布。
本文整理自 4 月 16 日的 2024 百度 Create 大会的公开课分享《百舸 AIAK-LLM：大模型训练和推理加速实践》。 今天要分享的主题是 AI Infra 相关的内容，主要内容分为四部分。 首先和大家一起讨论大模型给基础设施带来的挑战。 第二部分则是向大家介绍一个大模型训练和推理过程中的关键性能指标 MFU，以及为了提升这个 MFU 业界已经做的一些技术和手段。 第三部分则是从百度百舸 AIAK-LLM 实际落地过程中遇到的一些问题出发，通过解决这些问题我们将大模型训练和推理的 MFU 提升到了一个非常好的状态。 最后一部分则是从产品维度简单介绍下相关能力和理念。
随着以ChatGPT、文心一言为代表的大语言模型相继涌现，AI+电商也带来新的购物体验和新的经营模式。 「电商AI数字人直播解决方案-慧播星」依托自研StyleSync技术/音频自恢复预训练技术/文心一言/自研PicGen技术等，实现AI复刻/定制优质主播、稳定7*24小时在线开播。低成本搭建多元直播场景，专家级商品讲解、实时互动问答、丰富的互动形态精准传达信息，既让消费者获得全新的购物体验，也赋能中小商家零门槛、零成本一键创建商品售卖直播间、助推GMV增量，减少生产成本，实现消费体验和生产效能的“双提升”。
最近我们在生产环境批量部署了大模型专用推理集群，并成功让包括70B在内的大模型推理速度提升50%，大幅缩减部署成本，稳定应用于生产环境。本文基于我们在部署大模型推理集群时的一些经验，分享一些有效提升大模型的推理速度方法。最后，我们在结尾处推荐了几个经过我们评测且表现优异的大模型推理框架。希望这些建议能帮助读者在项目中选择适合自己的推理框架。 OpenAI的科学家Hyung Won Chung在2023年的公开演讲《Large Language Models》[8]中指出，大模型的某些能力仅在达到特定规模时才能显现，可见未来大模型的参数量肯定会越来越大，这也是大模型的发展趋势。随着参数量的增加，对大模型的推理速度要求越来越高，有哪些方法可以提高大模型的推理速度或吞吐量？ 首先我们将探讨大模型的加速优化方向，随后文章将依据时间线，介绍一些业界内较为经典的实用大模型加速技术，包括但不限于“FlashAttention[1]”和“PageAttention[3]”等技术。 以下为按时间顺序业界的一些经典大模型推理加速技术，本文试图为读者提供一个按时间发展顺序的大模型加速方法综述。
本文主要描述了FileProvider，startAnyWhere实现，Parcel不对称漏洞以及这三者结合产生的漏洞利用实战，另外阐述了漏洞利用的影响和修复预防措施，这个漏洞波及了几乎所有的Android手机，希望能带给读者提供一些经验和启发。
