防劣化是比较经典的技术话题，手 Q 的防劣化系统从 2021 年 10 月开始投入研发，从 0 到 1 迭代了将近三年的时间，已经达到了业界先进水平。为了守护好手 Q 性能稳定性的门禁，我们将其命名为 Hodor 系统，即 Hold the door！ 从验证可行性跑通最小闭环，到搭建群控机架一次次为集群扩容，实属不易。其中涉及到大量的方案讨论甚至推翻，很多思路和实现细节是业界找不到公开方案的，只能自己摸索。本文详细分享了手 Q 防劣化系统的构建链路，相信对业界和开发者们都有较高的借鉴意义。
你或许曾在社交平台上刷到过账号主人已逝、由亲友代发的讣告。曾经鲜活的社交账号，伴随最后一条动态的发送，于顷刻间变成一座“数字坟墓”。网友们通过账号的公开内容还原逝者的面貌，在转发和评论区表达哀悼。你是否考虑过：一旦身故，你的一切数字资产该如何处置？是将其托管于亲友，请他们延续你的数字生命；还是“像一道海浪把你留在沙滩上的脚印冲走一样”，不留下任何痕迹？ 这牵涉到了“数字遗产”问题。2003 年，联合国教科文组织在《保存数字遗产宪章》中提出：数字遗产是特有的人类知识及表达方式，它包括文化、教育、科学、管理信息、技术、法律、医学以及其他以数字形式生成的信息。这是个极其宏大的概念，恍若包罗全球人类所有数字化产出的信息全集。 而引起大多争议、也就是我们今天所讨论的狭义上的“数字遗产”，并没有统一的定义及分类，较为普遍的认识是：“自然人死亡后，其以数字化形式留下的具有经济价值或情感价值的信息资源。”
过去的一年多，大模型风起云涌，不断迭代，作为一个多年 NLP 产品方向的从业者，可以说是享受其中，惊喜连连。记得22年底，那时疫情放开，身边的人全部病倒，在身体冷热交加中看到了 ChatGPT 的发布，马上在病榻上完成了注册，那时的感觉就仿佛黑暗中看到了曙光。当时我在一家物联网公司的 AI 研究院工作，基于 ChatGPT 开始设计很多 demo 取代之前的 NLP 任务 bert 方案，后面一年多不断地实验各种大模型的应用方法，颇为有趣。 腾讯日前也正式发布了大模型应用平台元器和混元 C 端产品元宝，也希望大家一起在上面多做一些有意思的智能体，故分享一下之前的探索经验，供大家参考。
PolarisMesh（北极星）是腾讯开源的服务治理平台，致力于解决分布式和微服务架构中的服务管理、流量管理、配置管理、故障容错和可观测性问题，针对不同的技术栈和环境提供服务治理的标准方案和最佳实践。
本文精选了美团技术团队被CVPR 2024收录的7篇论文进行解读，这些论文既包括OCR预训练、长尾半监督学习等基础学习范式升级，也包括图生视频、数字人驱动、视听分割（AVS）等视觉AIGC技术创新。这些论文有美团视觉智能部的独立产出，也有跟高校、科研机构合作的成果。希望能给从事相关研究工作的同学带来一些帮助或启发。
在复杂中后台设计中，为解决配置变更影响多场景问题，提出结合正向和逆向信息架构，采用原子化任务，动态组合任务，降低用户和开发成本，优化体验并改变已有的产品迭代和人机交互模式。未来可能发展为AI自动根据业务规则和用户行为生成最佳方案。
随着LLM模型越来越大，单GPU已经无法加载一个模型。以Qwen-14B-Chat模型为例，模型权重大概28GB，但是单个NVIDIA A10仅有24GB显存。如果想要在A10上部署Qwen-14B-Chat模型，我们需要将模型切分后部署到2个A10机器上，每个A10卡加载一半的模型，这种方式称之为分布式推理。 社区涌现了很多支持分布式推理的框架如vllm、deepspeed-mii，rtp-llm等。本文选取了vllm框架，从源码角度分析vllm + Ray 如何实现LLM模型的分布式推理。
