本文以 huggingface-transformers 的文本生成解码代码为例，对文本生成常用的五种解码策略 greedy search、beam search、sample、sample and rank & beam sample、group beam search 进行逐行解读。每一小节首先会介绍对应解码策略的原理，接着给出供大家快速上手的代码示例，并逐层介绍调用过程，最后给出所使用到的所有类之间调用的时序图。由简到繁再到简，帮助大家建立起一个整体的认识，并且能够快速应用。干货较多，欢迎阅读并进行实践尝试。
作为广汽集团旗下的智慧出行平台，如祺出行上线四年时间，用户规模和订单量保持高速增长。在过去的2022年，如祺出行平台累计注册用户突破1800万，同比增长64%，年度订单总量超7000万，同比增长52%。 高速增长的用户规模和订单量，对技术平台提出更高要求。 随着专快车业务的快速增长，越来越多业务需求与业务主流程耦合，导致调用链过长，接口延迟增加了数倍，整体架构无论是性能还是扩展性，都存在很大的风险，遇到节假日高峰，随时都有崩溃的风险。 为了提升架构的稳定性，保障用户体验，如祺出行于2021年启动架构升级。其中，引入消息队列做异步化是整个分布式架构设计的核心手段之一。
随着云数据中心应用程序对内存的需求持续增长，TencentOS“悟净”——服务器内存多级卸载方案应运而生。“悟净”利用OS内核侧进行内存优化的天然优势，保障业务内存使用性能前提下，将较冷的内存换出至较便宜的设备上，从而降低整机的内存消耗，提高内存资源利用率，通过平滑降配、负载调压、内存超卖等手段实现降本增效，助力业务和客户商业增值。下面跟着本篇文章，来了解一下TencentOS“悟净”的强大之处吧！
微信的多维指标监控平台，具备自定义维度、指标的监控能力，主要服务于用户自定义监控。作为框架级监控的补充，它承载着聚合前 45亿/min、4万亿/天的数据量。当前，针对数据层的查询请求也达到了峰值 40万/min，3亿/天。较大的查询请求使得数据查询遇到了性能瓶颈：查询平均耗时 > 1000ms，失败率居高不下。针对这些问题，微信团队对数据层查询接口进行了针对性的优化来满足上述场景，将平均查询速度从1000ms+优化到了100ms级别。本文为各位分享优化过程，希望对你有用！
随着 ChatGPT、Midjourney、Stable Diffusion 等现象级应用的广泛使用，大模型的安全性受到了学术界和产业界的广泛关注。现有的研究热点主要围绕两方面： （1）利用 SFT 与 RLHF 等技术将大模型与人类偏好对齐，从而提升大模型自身的安全性。 （2）针对不同场景设计专用内容过滤器。除了大模型服务系统自身的安全性之外，如何防止大模型引发其他类型的风险也是值得注意的方向，本研究全面地讨论了大模型对于现有数字黑灰色产业的革新以及如何利用大模型自身的能力构建下一代的风控系统，针对一些具体的案例，我们给出了详细的上下游作恶手法还原，以此警示大家注意防范生成式 AI 引发的新型风险。 本文由 AI lab，SSV 公益平台部，PCG 画像平台中心，三方合作完成，旨在吸引对于 AIGC 在风控场景引发的风险的重视及提出一些解决思路。
