随着大语言模型的广泛应用，如何构建低成本高性能的推理服务，越来越成为业界关注的方向。RTP-LLM是阿里巴巴智能引擎团队推出的大模型推理加速引擎，已被广泛应用于阿里内部，积累了一定的实践经验，我们曾在《LLM推理加速：decode阶段的Attention在GPU上的优化》一文中分析了当前MMHA在GPU上的计算：
本文主要介绍了 AI Agent 的背景，概念，探讨了 AI Agent 网关插件的使用方法，效果以及实现原理。
本文阐述了阿里云表格存储（Tablestore）如何通过其向量检索服务应对大规模数据检索的需求，尤其是在成本、规模和召回率这三个关键挑战方面。
RTP-LLM是阿里巴巴智能引擎团队推出的大模型推理框架，支持了包括淘宝、天猫、闲鱼、菜鸟、高德、饿了么、AE、Lazada 等多个业务的大模型推理场景。RTP-LLM与当前广泛使用的多种主流模型兼容，使用高性能的 CUDA kernel, 包括 PagedAttention、FlashAttention、FlashDecoding 等，支持多模态、LoRA、P-Tuning、以及WeightOnly 动态量化等先进功能，已在众多LLM场景中得到实际应用与检验。 本篇文章介绍了RTP-LLM的整体架构，并着重分析了模型加载过程中的核心部分：模型的权重和配置文件。本文主要由社区用户mingming贡献，特此感谢其对项目的支持。
前不久，我因为运动时的姿势不对，导致右腿骨折，喜提三个月的居家修养。按照作家刘震云的说法，这叫做着正确的事情，却迈着不正确的步伐。于是乎，我的活动空间骤减，每日除了短暂地楼下放风，便是卧坐于方寸之间。周遭静下来，许多回忆便涌了上来。 从 2008 年开始，我陆陆续续参与了多个 DevOps 系统的建设，如今，审视这些系统的建设初衷和它们的设计思路或遇到的问题，依然有不少借鉴意义。我会按照时间顺序，把每个 DevOps 系统的特点，诞生的背景，以及在当时所主要解决的问题做一个概要的介绍，同时，我们也会以今天的视角再次审视这些问题，来看下同样的问题，经过十几年的发展，解决方案上有哪些不同。
