随着CV算法在业务场景中使用越来越多，给我们带来了新的挑战，需要提升Python推理服务的性能以降低生产环境成本。为此我们深入去研究Python GPU推理服务的工作原理，推理模型优化的方法。最终通过两项关键的技术: 1.Python的GPU与CPU进程分离，2.使用TensorRT对模型进行加速，使得线上大部分模型服务QPS提升5-10倍左右，大量节约了线上GPU推理服务的成本。 针对上面的两项关键技术，我们还自研了相关框架与工具进行沉淀。包括基于Python的CPU与GPU进程自动隔离的推理服务框架，以及对推理模型进行转TensorRT优化的调试工具。 此外针对不同的推理服务性能瓶颈，我们还梳理了各种实战优化技巧，比如CPU与GPU分离，TensorRT开启半精度优化，同模型混合部署，GPU数据传输与推理并行等。 下面从理论，框架与工具，实战优化技巧三个方面介绍下推理服务性能优化的方法。
本文分享了微信游戏推荐系统从调研、设计、搭建到运维的整个流程。这套系统在微信游戏业务上得到广泛应用，服务着几亿微信游戏玩家；它也服务腾讯知名app类游戏分发、游戏相关内容推荐和几万款小游戏分发，并且取得不错的业务效果。如果你对相关内容感兴趣，欢迎阅读和分享。
火山引擎 EMR 作为一款云原生开源大数据平台产品，集成了包括 Hadoop、Spark、Flink 等引擎，并做到100%开源兼容。Doris 作为 OLAP 领域中一款极具代表性的开源组件，也被集成到了火山引擎 EMR 产品生态中。 本文来源于山引擎 EMR 团队大数据工程师在 Doris Summit 2022 中的同名主题分享，将为大家详细介绍火山引擎 EMR 是一款怎样的产品，火山引擎 EMR 团队对 Doris 社区做出了哪些贡献，火山引擎 EMR Doris 目前具备了哪些能力优化，以及后续的规划方向有哪些。
本文译自 Istio 官方博客，这篇文章介绍了 Istio 的 Rust-Based Ztunnel，它是一种基于 Rust 语言的轻量级代理，用于 Istio 的 ambient mesh。在文章中，作者解释了为什么需要一种新的代理，以及 Rust 语言是如何成为最佳选择的。文章还讨论了如何使用 workload xDS 配置来管理工作负载，以及如何查看 ztunnel 日志和 L4 指标。作者表示，Rust-Based Ztunnel 显著简化了 Istio 的 ambient mesh，并提高了性能。此外，Istio ambient mesh 已经合并到了上游主干，可以通过遵循入门指南来尝试 Rust-Based Ztunnel。
在 JDK 9 之前，Java 基本上平均每三年出一个版本。但是自从 2017 年 9 月份推出 JDK9 到现在，Java 开始了疯狂更新的模式，基本上保持了每年两个大版本的节奏。从 2017 年至今，已经发布了一个版本到了 JDK 19。其中包括了两个 LTS 版本（JDK11 与 JDK17）。除了版本更新节奏明显加快之外，JDK 也围绕着云原生场景的能力，推出并增强了一系列诸如容器内资源动态感知、无停顿GC（ZGC、Shenandoah）、运维等等云原生场景方面的能力。这篇文章是 EDAS 团队的同学在服务客户的过程中，从云原生的角度将相关的功能进行整理和提炼而来。希望能和大家一起认识一个新的 Java 形态。 上一篇 (《 从 JDK 9 到 19，我们帮您提炼了和云原生场景有关的能力列表（上） 》)我们讲了在整个演进过程中针对运行时模型和运维能力的一些重要变化，这一节我们主要是来讲讲内存相关的变化。
本人自 14 年校招加入淘宝 UED（淘系前端前身）后，一直从事淘宝的业务前端开发工作，至今已有 8 年多。一直想对自己已经度过的四分之一职业生涯（如果我能干 30 年的话）做个简单总结，无奈『拖延症』严重，直到年前被邀约做年终总结时，才下定决心，于是有了这篇文章。 本文是一个业务前端对如何支撑好业务，以及在这过程中如何获得个人成长的总结。一些心路历程的变化可能不是在某个瞬间，而是在实践过程中潜移默化形成的。
在降本增效的大背景下，为提高机器资源利用率，将不同优先级的在线业务(通常为延迟敏感型高优先级任务)和离线任务(通常为延时不敏感型低优先级任务)部署在相同的物理机器上。内存作为重要资源，混部任务一旦调度到某个k8s节点后，在内存资源使用上可能对在线任务产生竞争，为了避免此种情况对在线任务的干扰，我们可能需要感知在线任务的负载情况并做相应的内存隔离管控，尽量做到对在线任务零干扰。
