在复杂中后台设计中，为解决配置变更影响多场景问题，提出结合正向和逆向信息架构，采用原子化任务，动态组合任务，降低用户和开发成本，优化体验并改变已有的产品迭代和人机交互模式。未来可能发展为AI自动根据业务规则和用户行为生成最佳方案。
随着LLM模型越来越大，单GPU已经无法加载一个模型。以Qwen-14B-Chat模型为例，模型权重大概28GB，但是单个NVIDIA A10仅有24GB显存。如果想要在A10上部署Qwen-14B-Chat模型，我们需要将模型切分后部署到2个A10机器上，每个A10卡加载一半的模型，这种方式称之为分布式推理。 社区涌现了很多支持分布式推理的框架如vllm、deepspeed-mii，rtp-llm等。本文选取了vllm框架，从源码角度分析vllm + Ray 如何实现LLM模型的分布式推理。
RAG通过检索现有的大量知识，结合强大的生成模型，为复杂的问答、文本摘要和生成任务带来了全新的解决方案。本文详细的介绍了RAG遇到的挑战、通用范式、工程实践、优化实现策略等。
在云计算的时代，我们享受着前所未有的便利性和灵活性。随着技术的发展，云服务已经深入到了我们工作和生活的各个角落。从简单的数据存储到复杂的机器学习任务，云服务提供了一个强大且易于扩展的平台，让我们可以实现那些曾经只能幻想的创意。以下 5 个应用是阿里云开发者社区特别推荐开发者必掌握的法宝，来社区一起完成部署实操，有平板电脑、护眼仪等千份好礼免费送，点击文末阅读原文可直达活动页面。
随着视频流业务的发展，业务的复杂性越来越高，视频流老工程在架构设计、代码质量、工程能力等方面的问题也逐渐凸显。在这样的背景下我们开启了一次对老工程的大型重构。 本次重构是一次对大型业务工程进行架构再设计和重构的探索，本文是对这次探索的一次梳理与总结。限于篇幅，文章总共分为理论篇和实践篇两个部分。
随着LLM的发展，ChatGPT能力不断增强，AI不断有新的概念提出，一种衍生类型的应用AI Agent也借着这股春风开启了一波话题热度，各种初创公司，包括Open AI内部也都在密切关注着AI Agent领域的变化。阿里集团内的AI团队也有很多基于Agent的尝试，Xlangchain和阿里LangEngine有很多Agent的例子，手猫端在过去一年中始关注AI技术动向，不断在手猫端上做面向用户的AI产品尝试，也结合结合Agent技术结合购物组手业务做探索。本文就手猫在探索Agent能力和智能助手业务结合过程、技术侧遇到的问题、想法和实践做简单总结，欢迎大家一起讨论、交流意见。
Master-Worker 架构是成熟的分布式系统设计模式，具有集中控制、资源利用率高、容错简单等优点。我们数据中心内的几乎所有分布式系统都采用了这样的架构。 我们曾经发生过级联故障，造成了整个集群范围的服务中断。这让我们反思到 Master-Worker 架构难以有效的分批灰度发布的问题。本文试图分析其中原因，并尝试提出几种解决方案。
