AI 辅助编码正在改变我们的工作方式,开发者的重心也随之转移——从逐行实现代码,到更高层次的设计与指导。SPEC 驱动开发,正是将我们的设计意图精确传达给 AI 的关键方法。然而,要将这种新范式成功落地并非易事,实践中充满了常见的误区和挑战。本文聚焦于五个典型的失败场景,剖析了从思维到流程上的关键问题,并提供具体的应对策略,旨在帮助开发者真正掌握与 AI 协作的新方法,让它成为提升工程质量与效率的可靠伙伴。
DeepSeek-V3.2-Exp 所搭载的稀疏化 Attention 计算,在长上下文场景中成功降低了推理延迟。但在 PD 分离架构下,随着序列长度不断增长,Decode 阶段的吞吐受限问题愈发凸显。核心症结在于,Decode 过程中 Latent Cache 规模会随序列长度呈线性增长,而 GPU 显存容量有限,这直接导致 Batch Size 难以提升,进而抑制了 Decode 阶段的吞吐增长。基于此,本次百度百舸 AIAK 团队研究的核心目标是:针对 DeepSeek-V3.2-Exp,通过将 Latent Cache 下放到 CPU 内存,在满足延迟要求的前提下,提升 Decode 吞吐并显著降低成本。本报告详细阐述了我们为达成该目标所开展的系统瓶颈分析,以及最终提出的 Expanded Sparse Server(ESS)方案的设计与实现。
移动互联网时代,传统业务模式是端来负责内容呈现,云端进行推荐和决策。近年来随着终端算力的持续提高使得边缘计算成为可能,通过边缘计算提升整体业务服务的实时性,算力与存储能力为用户打造更好的体验,并且边缘计算主要的数据在端内存储可以更好的保护用户隐私。围绕端智能这个前沿课题,去哪儿建设了以数据为中心的端AI解决方案,让端具备实时感知、计算、决策的能力,为端上智能场景提供统一可复用的的平台基建。
今年最火的技术是什么,AI;AI中最火的是什么,Agent;Agent中最火的是什么,AI-Coding;AI-Coding中最火的是什么,ClaudeCode。最近看了蚂蚁关于最受欢迎的135个AI开源项目统计,发现曾经作为移动互联网时代的编程王者Java,在AI时代已经彻彻底底被边缘化了。作为十年Java老鸟,想为Java开源生态贡献绵薄之力,于是便有了本文:https://github.com/Leavesfly/Jimi。
AgentScope 是阿里巴巴推出的一款以开发者为核心,专注于智能体开发的开源框架,是继 ModelScope(魔搭社区)后在 Agent 层的战略产品。它的核心目标是解决智能体在构建、运行和管理中的难题,提供一套覆盖“开发、部署、调优”全生命周期的生产级解决方案,让智能体应用的开发更简单、运行更稳定、效果更卓越。
vivo大数据平台通过引入RSS服务来满足混部集群中间结果(shuffle 数据)临时落盘需求,在综合对比后选择了Celeborn组件,并在后续的应用实践过程中不断优化完善,本文将分享vivo在Celeborn实际应用过程中对遇到问题的分析和解决方案,用于帮助读者对相似问题进行参考。
本文基于我们的实践,阐述了如何使用统一的工程方案在阿里的大模型研发平台(OpenLM)上,以及其他Agent平台上针对“Human In The Loop”场景进行大模型产品设计和研发工作。
本文介绍了AI大语言模型的完整工作流程,从文本输入的预处理到最终输出的生成过程。文章系统性地介绍了分词与嵌入、Transformer架构、自注意力机制、位置编码、长文本外推等核心技术概念,并结合DeepSeek V3等实际案例进行详细说明。同时,本文还提供了丰富的工程实践指导,包括上下文优化、耗时控制、多Agent协同等实用策略