• 文库
  • 字符
  • 转换
  • 加密
  • 网络
  • 更多
    图表
    数学
    坐标
    图片
    文件
  • 文库
    字符
    转换
    加密
    网络
    更多
    图表
    数学
    坐标
    图片
    文件
logo 在线工具大全
所有 中文 英语 最新 热度
4232 条查询结果 投稿

Flink SQL在业务使用中有较多的双流join场景,当左右流的流量都较大,Join的等待时间即使为1小时,Flink Keyed State(Flink State分Operator State和Keyed State,后文所有State均代表后者)的存储大小也很容易达到TB级(内部默认使用的是RocksDBStateBackend)。 在State我们内部[1]之前就做了RT和长度的metric,当State的存储达到TB级别后,会发现State的scan/next/readNull请求RT会变得较高,另外双流Join不仅流量大,Join query的字段也较多,导致State的Value长度也较大,从而使得任务在流量高峰期CPU存在明显的周期性毛刺,根因是RocksDB的compaction引发。我们下面的内容主要是从业务场景跟进到RocksDB的读写行为,来优化RT耗时高的问题,并使用优化方案缓解compaction的压力。

51 技术 lddgo 分享于 2024-04-09

这是一个很少被提及的话题 — 「依赖管理」(Dependencies Management) 。 在开源文化盛行的现代,多数时候我们都不必从零开始搭建一套软件系统,转而可以借助诸多开放的代码片段及其他资源更快速高效开发软件应用,这算的上软件工程发展史上一次巨大革命,因为它能大幅提升软件工业的生产效率,我们不必再从底层开始编写所有代码,大部分问题与常见的编程模式都能在社区找到相应的解决方案,且这些被反复消费锤炼的软件包通常有更高的稳定性与性能,你需要做的只是花一些时间了解学习这些开源资源,并在项目使用它们,“ 「依赖」 ”它们即可,这已经是一种被不断实践,不断被验证为行之有效的开发模式。

70 技术 lddgo 分享于 2024-04-09

数据要素开发利用与安全治理中的技术底座 | 数据要素行业洞察(三)

37 技术 lddgo 分享于 2024-04-09

数据要素的社会价值、经营管理价值与知识产权保护 | 数据要素行业洞察(二)

33 技术 lddgo 分享于 2024-04-09

数据要素是数字经济时代的关键生产要素,多层次的数据要素市场建设是繁荣产业生态的重要保障。当前,国家数据管理体制机制不断完善,数据要素基础制度建设逐步推进,如何构建多方参与、促进数据要素发展的市场生态成为各界高度关注的话题。 作为数据要素市场的重要探索者,互联网企业在数据流通和开发利用方面积累了大量的实践案例。为了更好的总结提炼有关经验做法,助力数据要素市场建设和经济社会数字化转型,腾讯研究院组建了数据要素联合研究团队,并于近期组织召开了数据要素创新发展研讨会。六位研究鹅围绕数据要素在智慧工业、智慧出行、数字金融、智慧文旅、数字政府、数字广告的场景应用参与交流。腾讯研究院数字经济研究中心主任王星博士主持研讨。

41 技术 lddgo 分享于 2024-04-09

WCDB 是微信团队开源的一款基于 SQLite 的终端数据库。自 2017 年 6 月开源以来,它在业界得到了广泛认可并被大量应用,迄今已经推出了十多个版本。在这个过程中,WCDB 一直保持良好的向后兼容性,不断完善原有接口的细节并添加新功能。

36 技术 lddgo 分享于 2024-04-09

本次春节活动中,我们大部分场景使用内部的 SAR Creator互动方案来实现。 SAR Creator 是一款基于 TypeScript 的高性能、轻量化的互动解决方案,目前支持了Web和字节内部跨端框架平台,服务于字节内部的各种互动业务,包括但不限于抖音春节、抖音直播礼物、抖音UG活动等

51 技术 lddgo 分享于 2024-04-08

这里的 kube on kube , 是指建立 K8s 元集群,纳管其他业务 K8s 集群,通过声明式 API 管理集群的创建、增删节点等。

41 技术 lddgo 分享于 2024-04-08

4月2日,国家数据局发布了《深化智慧城市发展推进城市全域数字化转型的指导意见(征求意见稿)》(以下简称指导意见)。在标题里提出的“城市全域数字化转型”,成为全文的指导思想,也是指导意见的最大亮点。 距离国家发改委等八部委印发《关于促进智慧城市健康发展的指导意见》已有十年。回首我国智慧城市建设,经历几起几落,已经形成了包括一网统管、一网通办、一网协同等数字政府的基本模式,也大大推进了数据开放、公众参与的理念的落地。但在市场化、可运营方面,一直差强人意。城市≠政府,如果不重新全面认识“城市”这个概念,只将其理解为直接买单的政府,是不可能真正实现“智慧城市”的。本文就指导意见中对智慧城市的几个关键性认知的提升,稍作分析。

36 技术 lddgo 分享于 2024-04-08

离业务决策越近,高时效性数据带来的业务价值越大。实时计算过去面临最大的瓶颈是易用性问题,业务常常迫于迭代运维复杂度放弃实时化。我们基于多年深耕商业实时化场景的思考,提出RTS-场景化端到端全托管,彻底释放实时化的潜能。对大数据和实时化感兴趣的小伙伴们,欢迎交流探讨!

42 技术 lddgo 分享于 2024-04-08