• 文库
  • 字符
  • 转换
  • 加密
  • 网络
  • 更多
    图表
    数学
    坐标
    图片
    文件
  • 文库
    字符
    转换
    加密
    网络
    更多
    图表
    数学
    坐标
    图片
    文件
logo 在线工具大全
所有 中文 英语 最新 热度
484 条查询结果

首先介绍一下字节内部数据血缘遇到的挑战。 随着公司业务扩张、用户数量持续增长以及数仓建设不断完善,元数据种类和数量也经历了非线性增长,并在此期间涌现出一些问题。 第一,扩展性。好的扩展性可以在面对新型元数据血缘时保证快速接入和迭代,而扩展性不佳则会导致在业务变化时需要不停地重构来适应业务,对业务造成很多影响。 第二,性能。一个模型本身的插入和更新效率会直接影响数据的导入导出的流程,这些都会带来更直观的业务上的感受,所以需要考虑如何保证环节高效性。 第三,时效性。很多应用场景对正确率格外敏感,如果血缘数据有延迟,其实就等于血缘的不准确,会对业务造成影响。 最后,赋能业务。技术服务于业务,业务增长会帮助技术升级迭代,技术创新也会促进业务发展。在字节内部,我们会根据业务特点,考虑业务需要,将技术成本与业务收益做平衡,最终做出数据模型决策。总而言之,数据模型没有完美的方案,只有最适合企业自身业务、适合当前阶段的数据血缘方案。

75 技术 lddgo 分享于 2023-04-03

在组件化的浪潮下,公司引入多仓开发对工程架构进行解耦、跨业务技术能力复用,并辅以组件(混合)二进制化进行编译提速。不过随着工程规模增长、业务复杂度提升,多仓二进制的弊端日益凸显: 合码效率低下:多仓的引入使开发流程变复杂,最有代表性的合码环节一次合码涉及到主仓和多个组件,每个组件要跑 Pipeline 流程进行版本发布。因涉及到组件发布,从而引入了 MR 锁,进而导致吞吐量有限。如果某个组件失败,那么 MR 需要重新跑一遍流程。这种模式提升了 CI 复杂度,降低了合码效率(封板排队时间可达 6h+) 依赖管理衍生问题:稳定性差,多仓使环境依赖度变高,稳定性变成多个仓库稳定性的乘积。即使每个仓库成功率是 99.9%,每次 install 成功的概率也仅有 74%;版本溯源性差,项目通过依赖动态决议生成,无法做到 single source of truth。 代码的可视性和可控性降低:跨组件重构困难,全量静态检测无从入手,并且很难统一架构规范;本地开发体验差,工程代码可信度低,无法直接对代码进行开发调试,本地开发需要更多的工具和流程来保证代码的可视性和可控性。

63 技术 lddgo 分享于 2023-03-31

“打包”——一个前端研发无比熟悉的词语,打包工具从来都不是必要,后端(nodejs)几乎可以不使用,但在前端,又几乎不可以不用。 本文会带读者探究关于打包的一切,前辈们是从什么时候开始打包,又从什么时候开始分包?再发展到现在的在开发环境逐渐不再打包,这个过程我们到底经历了哪些故事?我们又可以依靠哪些工具来实现我们不同时期的目标?这一切离不开前端工程的模块化的演进史~

106 技术 lddgo 分享于 2023-03-30

火山引擎湖仓一体分析服务 LAS(Lakehouse Analytics Service),是面向湖仓一体架构的 Serverless 数据处理分析服务,提供字节跳动最佳实践的一站式 EB 级海量数据存储计算和交互分析能力,兼容 Spark、Presto 生态,帮助企业轻松构建智能实时湖仓。 LAS 服务是什么?LAS 有哪些优化特性?本文将从基础概念、数据库内核特性优化、数据服务化、业务实践等角度全方位介绍湖仓一体架构在LAS的探索与实践。

72 技术 lddgo 分享于 2023-03-28

WebAssembly 是 W3C 标准化组织制定兼容 Web 的全新格式,它可以方便地将非 JavaScript 代码快速地运行在浏览器中,这一特性为前端场景提供了无限可能;此外,字节码联盟 (Bytecode Alliance) 于 2019 年宣布正式成立,这个联盟成立的主要目标就是通过协作实施标准和提出新标准,以完善 WebAssembly 在浏览器之外的生态;随着 WebAssembly 在开发者社区中越来越流行,也正在成为服务端以及云计算平台上的新锐。 本课程力求从 WebAssembly 的基础入手,由浅入深系统化的介绍 WebAssembly 的相关技术、底层设计原理、语言、库与工具链,展示一些具有代表性和实际业务价值的综合实践,探讨其发展演变及其未来发展方向、发展趋势

74 技术 lddgo 分享于 2023-03-28

WebAssembly 是一个新的技术体系而非单一技术,它涉及到编程语言、编译器、虚拟机、工具链 (LLVM, Binaryen 等)、操作系统等相关的多个技术领域;而市面上相关的著作一般仅仅涵盖某一个或某几个方面,很难有系统化介绍和讲解 WebAssembly 完整技术体系的著作或文档,从而使学习 WebAssembly 缺乏系统化的知识体系;此外, WebAssembly 作为一项新兴的技术,处于发展初期并将长期处于发展过程中,各种新提案、新技术探索、新应用场景层出不穷,让人眼花缭乱,感觉无从下手;因此,无论是初学者,还是有经验的学习者,在学习过程中常常觉得知识零碎且不成体系,入门门槛比较高,深入理解和掌握十分困难,甚至有浮沙驻高塔的感觉。 针对 WebAssembly 现状,本课程力求从 WebAssembly 的基础入手,抽丝剥茧,逐步解构 WebAssembly 的复杂知识体系和生态;边学边练,深入理解和掌握 WebAssembly 核心技术及其背后的原理;理论结合实践,共同探讨 WebAssembly 发展演变、核心应用场景、未来发展方向和发展趋势,一起由浅入深

55 技术 lddgo 分享于 2023-03-28

从之前的章节学习中,我们已经了解了 WebAssembly(WASM) 的基本概念,以及它的基本使用方法。但是,在什么样的场景中我们会使用 WASM 呢?在这些不同的场景下,我们是如何使用 WASM 的呢?更进一步,我们能看到的 WASM 的未来发展趋势是什么样的呢?在这一章中,为了使读者能够更好更全面的了解 WASM ,我们将会讨论一下 WASM 的使用场景和未来发展趋势。

68 技术 lddgo 分享于 2023-03-28

每天在世界各地都有海量用户在短视频 App 上分享充满创意的视频或是生活中的精彩故事。 由于使用者所在的环境不可控(高铁、电梯等弱网环境),若直接播放原始画质的视频,可能导致观看影片的过程中出现卡顿甚至无法播放的情形,导致观影感受不佳。为了让不同网络条件的使用者,都能顺畅地观看这些视频,每一条视频的发布,都需要经过转码的过程,生成不同档位的视频,即使用户在网络不好的环境中,也能提供适合档位的视频,让使用者有顺畅的观影体验。 针对视频转码的场景,目前业界通用的解决方案大多为原始视频上传到物件储存后,通过事件触发媒体处理过程,当中可能涉及使用工作流系统做媒体处理任务的调度或是编排,处理完成的视频存档至物件储存后再透过内容分发网络(Content Delivery Network,CDN)分发给观影者。

62 技术 lddgo 分享于 2023-03-27

2022 年,关于微服务发生了几件有趣的事情。其一,正式掌管 Twitter 不久的 Elon Musk 对 Twitter 的开发团队 “批判” 了一番。他表示自己为 Twitter 在许多国家的极慢运行速度感到抱歉。之所以如此慢是因为 App 需要执行 1000 多个 “糟糕” 的批处理 RPC,而这只是为了渲染主页的时间线。Musk 表示 “今天的部分工作将是关闭臃肿的"微服务" 。实际上,只有不到 20% 的微服务是 Twitter 需要的。” 其二,GitHub 前 CTO Jason Warner 在社交媒体上表示:“我确信过去十年中,最大的架构错误之一就是全面使用微服务。” “任何构建过大型分布式系统的人都知道他们并不真的那样工作,但还必须适应它。”那么,微服务架构是否是一个错误,或者微服务是否已经过时了呢?

87 技术 lddgo 分享于 2023-03-27

本文为火山引擎DataTester开放平台研发负责人的一场公开演讲整理。内容详细介绍了作为国内A/B实验平台引领者的 DataTester「开放平台」能力的技术实现,以及如何通过「开放平台」使产品功能更加灵活化和定制化,以贴合企业在高速发展背景下的多元需求。

70 技术 lddgo 分享于 2023-03-23