DeepSeek-V3 在多个评测中展现出强大性能,成为当前最受关注的开源大模型之一。由于采用了大规模 MoE 架构,如何优化推理性能,是工程落地上的关键难点。DeepSeek 团队于 2 月相继开源了 DeepEP、DeepGEMM、FlashMLA、EPLB 等关键组件。在开源社区工作的基础上,我们在RTP-LLM上完成了优化工作,对齐了 DeepSeek 推理系统的性能。 RTP-LLM 是阿里巴巴爱橙科技研发的 LLM 推理加速引擎,主要服务阿里集团内部业务。本文将分享实现过程中的一些关键技术点、不足和思考,以此感谢开源社区对我们的帮助。相关代码正在整理和重构中,不久之后会更新完整的代码和复现方法。
本文探讨了团队在代码风格与结构一致性上的长期实践与思考,分享了如何通过统一的代码规范和框架设计,提升代码可读性、可维护性,并降低团队协作与新人上手的成本。文章从问题起源、解决方案、实际收益到具体落地工具进行了全面阐述。
本文介绍了vivo互联网研发效能平台建设与最佳实践的话题,将分为4个部分与大家分享,分别是研发效能提升的背景与挑战、关键场景技术,以及在项目案例中的实践与效果,最后也将和大家探讨未来在研发效能提升上的一些规划与思考。
2022年11月30日,ChatGPT的发布正式敲响了大语言模型(LLM,Large Language Models)时代的大门。而后的2023年,自然语言处理(NLP,Netural Language Process)技术飞速发展,LLM领域取得了诸多重大突破,这一年也被称为LLM元年。同年6月13日,OpenAI在gpt-4-turbo模型中首次引入函数调用(Function Calling)能力,为LLM突破纯文本交互边界迈出关键一步。而后的2024年11 月 25 日,Claude AI的开发商Anthropic开源的模型上下文协议(MCP,Model Context Protocol)通过建立规范化的模型间通信标准,进一步扩展了LLM应用的上限。2025年3月27日,OpenAI 宣布正式支持MCP,再次将MCP送上热搜... 在人工智能技术日新月异的今天,如何让模型更加智能、灵活地与现实系统或其他模型进行交互,已成为推动AI应用落地的关键课题。在接下来的内容中,本文将着重介绍函数调用与MCP出现的历史缘由以及必要性,并在文末结合腾讯广告API简单演示了MCP与业务结合的实践
随着直播行业蓬勃发展,行业规模持续扩大,平台正在积极构建更加规范、健康的直播环境。在这一进程中,通过完善内容审核机制、提升主播职业素养、完善直播规范等举措,不断净化网络空间,推动行业向更高品质方向前进,助力长期可持续的健康发展。
本文介绍了携程机票前端基于Server-Sent Events(SSE)实现服务端推送的企业级全链路通用技术解决方案。深入探讨 SSE 技术在应用过程中包括方案对比、技术选型、链路层优化以及实际效果等多维度的技术细节,为类似使用场景提供普适性参考和借鉴。该方案设计目标是实现通用性,适用于各种网络架构和业务场景。
随着企业全球化业务的扩展,如何高效、经济且可靠地将分布在海外各地的应用与基础设施日志统一采集至阿里云日志服务 (SLS) 进行分析与监控,已成为关键挑战。本文聚焦于阿里云高性能日志采集 Agent(iLogtail/LoongCollector)在海外场景下的应用,深入探讨了如何为不同部署环境(包括本地机房、跨云平台及阿里云环境)设计最佳的网络接入链路。我们优先推荐 LoongCollector,因为它能提供更优的可靠性,尤其是在多目标发送场景下。文中详细分析了多种网络方案,涵盖公网直连、全球加速 (GA) 优化、阿里云内网以及专线/CEN/VPN 接入等方式。此外,本文还重点介绍了成本优化策略,包括利用 CloudLens for SLS 进行用量诊断,以及将公网链路迁移至私网以降低成本。同时,详细拆解了两种核心的多目标发送配置:一是通过 Agent 双写实现跨地域容灾(数据冗余),二是实现多地域/多目标日志分发(按需路由)。本文旨在为企业构建稳定、低成本、高可用的全球日志系统提供全面的实践指导和配置参考。
在人工智能技术飞速发展的今天,编程工具也迎来了变革。Cursor作为一款基于VS Code重新设计的AI驱动代码编辑器,正在重塑开发者的编程方式。它不仅提供智能代码补全、自然语言编程、多文件编辑等强大功能,还通过YOLO模式等创新特性实现任务自动化,让开发者能够更高效地编写代码、减少重复劳动。本文将深入解析Cursor的核心功能、与传统IDE的区别、真实用户反馈以及它对软件开发未来的影响。