随着微服务的流行，服务之间的依赖性和调用关系变得越来越复杂，服务的稳定性变得尤为重要。业务场景中经常会涉及到瞬时流量冲击，可能会导致请求响应超时，甚至服务器被压垮、宕机不可用。出于对系统本身和上下游服务的保护，我们通常会对请求进行限流处理，快速拒绝超出配置上限的请求，保证系统或上下游服务系统的稳定。合理策略能有效应对流量冲击，确保系统可用性和性能。本文详细介绍了几种限流算法，比较各个算法的优缺点，给出了限流算法选型的一些建议，同时对业务上常用的分布式限流也提出一些解决方案。
创作者服务平台作为得物为社区创作者提供的PC端视频发布入口，地位非常重要。且随着功能的升级迭代，用户群体也越来越多。但我们偶尔会收到如下反馈： 视频损坏，无法播放 视频模糊 曝光度问题 黑屏，只有声音，没有画面
通过开发 Babel 插件，打包时自动为代码添加 可选链运算符(?.)，从而有效避免 TypeError 的发生。
在团队日益注重流程与工具的当下，个体的因素反而容易被忽视。本文尝试从一名研发的视角，探讨在研发流程中，一些编码及编码以外的思考和原则，希望能为开发同学提供一些参考。
在2024年全球机器学习技术大会上，大模型的技术进步以及推理阶段的高效性成为了广泛关注的焦点。近年来，随着大规模语言模型（LLM）的参数量和功能复杂性的快速增长，其在实际应用中的计算开销和性能瓶颈逐渐显现，尤其是在推理阶段。如何在有限的硬件资源条件下有效加速推理过程，降低延迟并提升吞吐量，已经成为技术研发的核心议题。 大模型推理不仅仅是单一的算法优化问题，而是涉及到硬件、软件、算法、系统框架等多层次协同优化的综合工程。实际应用场景中，大模型的推理效率直接影响用户体验，尤其是在需要实时响应的场景下，诸如语音生成、智能对话、多模态翻译等任务。因此，推理加速不仅是技术挑战，同时也对大模型的商业化落地具有重要的意义。 在本研究中，基于最新技术实践，我们对大模型推理加速的关键技术进行了分析，并结合MindIE-LLM框架的具体优化案例，探索了从算法到硬件的多层次优化方案。本文的核心目标是为研究者和工程师提供系统化的推理加速思路，助力大模型在实际场景中的高效应用。
经过字节跳动内部半年多的使用和迭代，基于 Golang 的大模型应用综合开发框架 —— Eino，已在 CloudWeGo 正式开源啦！
