“太极AngelHCF推理极致优化”系列文章由太极Angel-HCF推理团队撰写,全面揭秘如何实现DeepSeek模型15800+ tokens/s的业内H20最高性能,本文将拆解DeepSeek全栈优化方法论:通过PD分离,Prefill和Decode使用不同的并行策略,多层MTP优化,并结合模型特点和Hopper架构特性,将多机推理性能推向极限。
随着人工智能(AI)技术的迅猛发展,向量化技术已成为自然语言处理、计算机视觉、文本比对等领域的核心技术之一。向量化使得我们能够以数学和计算的方式表示文本、图像等数据,从而使计算机能够理解并处理这些复杂的对象。本文将介绍基于 Redis 的向量召回技术,并探讨其在 AI 业务中的应用。
近两年 AI 技术发展迅猛,日新月异。大语言模型 (LLM)、AIGC、多模态、RAG、Agent、MCP 等各种相关概念层出不穷,若不深入了解,极易混淆。本文旨在简要介绍这些 AI 技术的核心概念、基本原理及其相互关系,主要帮助非 AI 行业的开发者建立基础认知。文中涉及的每项技术在其垂直领域都值得深入探索,本文仅作概念性和原理性的概述。如有疏漏或错误,欢迎指正。
Container 容器是 Docker、K8s 系统的核心管理对象,围绕着容器生命周期(容器创建、启动、运行、销毁、清理等)进行管理,因此熟悉 Container 管理机制将会使我们更加深入理解 Docker、K8s 的容器编排原理,以期更好的服务各类业务。
可视化埋点(Visual Event Tracking)作为一种广泛应用的用户行为数据采集方案,通过可视化界面配置页面元素与数据采集事件的关联关系,为传统代码埋点的痛点提供了有效解决方案。传统埋点模式存在开发周期长、沟通成本高、代码耦合严重、验证困难等问题,而可视化埋点通过可视化圈选、低代码采集等技术,可显著降低技术门槛和维护成本,提升迭代效率。基于上述背景,我们研发了河图可视化埋点系统(以下简称河图),旨在提升埋点流程的效能,并简化埋点管理。河图现已融入公司内部的伏羲埋点管理系统(以下简称伏羲),作为其子系统,专注于可视化埋点领域,而伏羲则是一个集埋点开发、数据分析与管理于一体的综合系统。本文首先系统对比两种埋点方案的实现差异,深入剖析可视化埋点在敏捷迭代与跨团队协作中的核心价值;其次,从架构设计与运行机制层面阐述可视化埋点如何系统性解决传统埋点的弊端;最后,围绕"从实现到可用"的主题,探讨通过规范化管理与技术优化构建高可用性埋点体系的最佳实践。