本文将基于火山引擎托管 Prometheus 服务 VMP 与火山方舟、火山引擎智能驾驶数据服务深度合作所积累的丰富可观测经验，分享在解决 AI 大模型和智能驾驶领域高基数问题上的实践经验。
随着 LLaMA、DeepSeek、Qwen 等开源大模型的快速崛起，企业在模型部署的灵活性、成本与自主可控性方面迎来了新的机遇。然而，仅靠对模型本身的优化尚不足以将这些模型部署成高效且可扩展的生产级 API。大模型推理往往引入诸多独特的系统挑战，如GPU 弹性伸缩指标的非线性问题，长尾模型和精调模型流量过低的问题，多机推理时的角色编排以及 GPU 卡型的异构管理等，都对易用性和成本控制提出了更高要求。因此，我们需要从推理引擎到底层基础设施进行全栈系统设计，才能真正让大模型在生产环境中长期稳定且高效地运行。 AIBrix 作为首个基于 Kubernetes 的企业级推理系统项目，正好填补了业界在“系统层”上的空白。它通过优化资源调度、自适应扩缩容、缓存感知路由以及异构计算管理等多项能力，为企业级大模型的大规模部署提供高效、低成本、可扩展的解决方案。AIBrix 与 vLLM 等推理引擎深度协同，持续优化推理效率，并融合多项前沿研究成果，推动大模型推理走向更加高效、可落地的生产化阶段。
DeepSeek-R1（以下简称 DeepSeek）以其优秀的复杂问题推理能力和规划能力脱颖而出，然而其原生函数调用（Function Call）功能的缺失，无法让大模型去选择不同的工具和程序，以获取对应的信息
vArmor 是字节跳动开源的云原生容器沙箱系统，它借助 Linux 的 AppArmor LSM，BPF LSM 和 Seccomp 技术进行容器加固。用户可以通过 vArmor 的 CRD API 在 Kubernetes 集群中管理安全策略，对指定工作负载的容器进行加固。vArmor 旨在降低利用现有技术加固容器的门槛和成本，从而平衡安全风险与防护成本。 本文将介绍我们推出 vArmor 项目的目的，然后从技术角度出发介绍其在不同场景的应用。本文将向您展示如何凭借vArmor 的技术特性来解决特定问题，从而实现技术与业务目标，助力企业构建云原生环境下的安全防线。
在大模型浪潮的推动下，企业和个人的数据安全面临前所未有的挑战。抖音集团安全研究团队推出Portcullis ——针对大模型的隐私保护网关，旨在为第三方大型语言模型（LLM）推理服务提供可控可信的隐私防护。该工作成果 《Portcullis : A Scalable and Verifiable Privacy Gateway for Third-Party LLM Inference》已被人工智能领域的顶级会议AAAI 2025以Oral报告的形式接收。本届AAAI 2025共有12957篇有效投稿，录用3032篇，录取率为23.4%。其中Oral占比4.6%。
DeepSeek 3FS 系统是为所有 DeepSeek 数据访问提供动力的并行文件系统，充分利用现代 SSD 和 RDMA 网络。本文为火山引擎文件存储团队阅读和分析 3FS 的设计文档和源代码后总结出的解读。
因为年前刚搬家，家中物品非常杂乱，同时在搬家的过程中发现过去在家庭物资管理上存在很多问题，总结有： 储物空间浪费：过期药品和其他过期物品长期占据储物空间，降低了空间有效利用率。 食品过期浪费：易过期食品的有效期跟踪机制缺失，导致食品经常过期被扔，造成资源浪费。 物品难以定位：没有合理收纳规划和物品位置标记，急需物品时难以快速找到，往往搬家时才发现。 重复采购：过期物品未清理，物品位置难确定，购物前无法准确知晓库存，导致重复购买，造成经济损失。 鉴于以上种种困扰，春节期间，我借助 Cursor 以及 Trae（Claude-3.5-Sonnet 与 deepseek-r1），开发出一款家庭物资管理应用，期望通过这个工具，能够显著提升家庭物资管理的效率和质量，让家庭生活更加有序便捷。同时也对这两块IDE和模型进行了深度的使用和体验
随着 LLaMA、DeepSeek、Qwen 等开源大模型的快速崛起，企业在模型部署的灵活性、成本与自主可控性方面迎来了新的机遇。然而，仅靠对模型本身的优化尚不足以将这些模型部署成高效且可扩展的生产级 API。 大模型推理往往引入诸多独特的系统挑战，如 GPU 弹性伸缩指标的非线性问题、长尾模型和精调模型流量过低的问题、多机推理时的角色编排以及 GPU 卡型的异构管理等，都对易用性和成本控制提出了更高要求。因此，我们需要从推理引擎到底层基础设施进行全栈系统设计，才能真正让大模型在生产环境中长期稳定且高效地运行。 AIBrix 作为首个基于 Kubernetes 的企业级推理系统项目，正好填补了业界在“系统层”上的空白。它通过优化资源调度、自适应扩缩容、缓存感知路由以及异构计算管理等多项能力，为企业级大模型的大规模部署提供高效、低成本、可扩展的解决方案。AIBrix 与 vLLM 等推理引擎深度协同，持续优化推理效率，并融合多项前沿研究成果，推动大模型推理走向更加高效、可落地的生产化阶段。
多集群部署微服务带来了可扩展性和容灾性等优势，但也引入了全局层面的脆弱性——中心控制平面的任何问题都会级联影响所有被管理集群，造成灾难性后果。其中最严重的场景之一是由于Pod删除导致的服务容量丢失。这在Kubernetes复杂的事件链中可能由多种原因引发，例如： 意外删除所有Deployment的owner资源类型的CRD 集群拓扑配置错误，导致用其他集群的spec覆盖当前集群 多集群滚动更新实现缺陷，同时在所有集群触发更新 联邦主集群的etcd磁盘损坏，导致Deployment对象从索引中移除 多个集群同时独立进行Pod驱逐操作，并发度不受控 虽然这些问题均可单独解决，但成因多样且在持续变化的基础设施中难以穷举。更便捷的方式是采用端到端处理：只要全局要求未满足就阻止Pod删除。因此我们开发了Podseidon项目——当跨集群的最小可用性要求不满足时，拒绝删除请求的准入webhook。
近日，豆包大模型团队提出 BFS-Prover，一个基于大语言模型 (LLM) 和最优先树搜索 (BFS) 的高效自动形式化定理证明系统。 团队通过该成果发现，简单的 BFS 方法经过系统优化后，可在大规模定理证明任务中展现卓越性能与效率，无需复杂的蒙特卡洛树搜索和价值函数。 在数学定理证明基准 MiniF2F 测试集上，BFS-Prover 取得了 72.95% 准确率，超越此前所有方法。
