截至 2023 年底,字节跳动内部微服务的数量超过了 30 万,而且这个数字还在快速的增长当中,每个季度仍然会新增上万个微服务。伴随着海量的微服务,微服务过微带来的编解码、序列化、网络和服务治理开销过大问题也愈加凸显,在一些性能敏感、QPS 大的的服务上急需优化,于是极致的微服务合并方案合并编译应运而生。 目前公司内采用合并编译方式合并的服务超过 300 万 core,取得的 CPU Quota 收益超过 40 万 core,接口时延根据包大小有 2-15 ms 不等的优化。
本文系火山引擎多云多活技术拆解系列文章的第三篇,将基于火山引擎的技术实践和客户服务经验,介绍如何在多云环境中实现高效、精准的流量调度,保障业务持续稳定。
在数字化时代,数据已成为企业最宝贵的资产之一。然而,随着数据量的爆炸性增长,如何高效地找到并使用这些数据,成为了企业面临的一个重大挑战。火山引擎DataLeap团队通过创新性地将大模型技术应用于数据资产管理平台,开发出了名为“找数助手”的工具,旨在解决这一问题。
当 AI 与音乐这一充满魅力的艺术形式相遇,精彩就此开启。字节跳动豆包大模型团队全新推出了 Seed-Music,助力人们在音乐创作领域探索更多可能性。 Seed-Music 是一个具备灵活控制能力的音乐生成模型家族。它巧妙地将语言模型与扩散模型的优势相结合,并融入作曲工作流之中,适用于小白、专业人士的不同音乐创作场景。 本文将深入解读 Seed-Music 的技术能力,揭示其在音乐生成和编辑方面的突出表现。此外,Seed-Music 官网详细展示了十种音乐创作任务的 demo。
本文将介绍基于 Apache Calcite 的多引擎指标管理的技术原理与最佳实践,包括指标管理的常见方式、指标管理的最佳实践、指标管理的实现原理以及指标管理在字节跳动未来的一些规划。 重点阐述【指标管理】在业内常见的解决方案,与字节内部使用的一套 SQL 两种语法多引擎指标管理方案的异同,并解读具体实现方案。
近年来 Spark 已经成为离线大数据处理引擎的事实标准,广泛用于数据仓库、数据湖、机器学习等领域。在字节跳动内部每天运行百万级别的 Spark 离线作业,Shuffle 量高达 500PB,CPU 资源需求达到千万级别。随着业务的快速发展,用户对计算资源的需求越来越大,除了增加物理资源之外,如何提高线上 Spark 作业的资源使用效率也是我们亟需解决的问题。
广义的容灾,可以认为是业务连续性计划当中的灾难恢复,即能够容忍灾难的能力,如何在灾难发生时,保证生产业务系统的不间断运行,需要我们健全快速容错/故障切换能力,即容灾能力,包含了常态化容灾建设以及针对能力进行的周期性演练验收。 今天,我将与大家分享字节跳动的容灾实践。大家对字节跳动的业务形态应该有所了解,在业务规模持续扩大和多样化部署模式下,字节跳动基础架构团队面临的容灾挑战是巨大的。因此今天的分享将分为三个主要部分:首先是基础演进路径,然后结合演进介绍容灾实践,最后我会简要说明容灾实施情况。