• ARTICLE
  • STRING
  • CONVERTER
  • ENCRYPT
  • NETWORK
  • MORE
    CHART
    MATH
    COORDINATE
    IMAGE
    FILE
  • ARTICLE
    STRING
    CONVERTER
    ENCRYPT
    NETWORK
    MORE
    CHART
    MATH
    COORDINATE
    IMAGE
    FILE
logo Online Tools
All Chinese English Newest Hottest
163 search results Contribute

在数仓分层架构体系中,从 ODS层到 DWD层数据转换需要进行数据清洗、脱敏、列式压缩等步骤。在B站用户行为埋点数据 ODS到 DWD层转换过程中,为了解决日增千亿条、20+TB/天增量规模下数据重复摄取带来的资源严重消耗的问题,引入了北极星(B站用户埋点行为分析链路)分流,按照部门进行分表。在埋点设计中使用spmid模型,将事件类型拆分为浏览 pv、曝光 show、点击 click等多个事件类型,并以这些事件类型作为除天、小时分区以外的第三级分区,再以事件类型产品来源作为四级分区。通过基于部门业务区分按照埋点事件类型+产品来源以多表多分区控制的形式,最大程度降低下游任务文件数据摄取数量以减少资源消耗。

34 Technology lddgo Shared on 2023-04-06

众所周知,B站是个学习的网站,网页端和粉版移动端都非常的好用,不过,相对其它平台来说B站的PC客户端也算是大器晚成了。在有些场景PC客户端的优势也是显而易见的,比如,跓留电脑桌面的快捷、独立的应用窗口、特有的交互方式等,因此就有了很多喜欢B站的技术大佬整出了不少体验不错的第三方PC应用,比如云之幻版、逍遥橙子版等。 当然我站也有一个源自三方的UWP客户端,但是由于历史原因一直没有得到很好的维护,在21年底,一个需要在电脑端预装的需求让我们有了开发一个全新的PC客户端的想法。

39 Technology lddgo Shared on 2023-04-03

为什么使用多云: 公有云因为其弹性、按需使用以及多地域的覆盖等优势,企业在高速发展的过程中往往会选择公有云来提供应用所需的基础设施; 为了高稳定性和成本最优的考虑,一般会引入多家云厂商; 多云部署防止单一云厂商故障导致服务完全不可用; 采用多云也提升了采购上的议价能力,避免单一厂商绑定,在价格谈判中处于劣势; 不同的云厂商在覆盖的地域、产品的能力上不一致,引入多云可以充分发挥各厂商的服务能力和产品优势。 多云带来的问题: 公司内因为云上资源使用的业务比较多,资源新增和交付主要依赖人工沟通并在控制台上进行操作,效率很低,在遇到大批量的资源交付服务器、数据库和负载均衡等多产品联合交付等场景的时候,无法满足业务的高速迭代需求; 不同的业务使用的云产品不同,基本上都涵盖了主要的IaaS和PaaS类的云产品,资源分布在多个公有云、多个云账号下,无法准确掌握全部资源情况,寻找资源困难,难以区分哪个资源由哪个业务使用; 用户在公有云控制台上权限混乱缺乏管理,存在权限泄露问题,操作不同资源需要通过密码登录不同公有云不同账号,难以批量操作,高危操作缺乏审批流程;

23 Technology lddgo Shared on 2023-03-29

在前文中,我们拥有了对一个矢量图形的路径描述。在本文中我们会介绍,如何将已有的路径描述 (Path) 转化为,GPU可读取的三角形的顶点数据。整体处理过程如下图所示,路径作为输入,折线化模块首先使用折线近似曲线将其转化为复杂多边形,接着将复杂多边形简单化、简单多边形单调化、单调多边形三角化,最终得到一组三角形作为输出!

65 Technology lddgo Shared on 2023-03-27

图片库加载服务是为bilibili打造的移动端一站式解决方案,集图像加载、显示、处理、监控于一体,以高可用、高性能、可高度定制、数据服务、省流量五大核心优势被公司各个业务接入使用,经过长期的迭代与维护,已成熟稳定。 在如今越来越看重体验的大环境下,对图片库的要求也日益攀升。从成本的角度来看,使用AVIF格式可以节省大量的网络带宽和存储空间,减少网站加载时间,并且可以改善用户体验,进而提高网站的效率和收益,从而节约大量的费用。 AVIF格式能够带来许多优势,首先,AVIF格式具有明显的压缩率优势,可以比其他常用图片格式(如JPEG、PNG)节省更多的存储空间,减少图片加载所需时间和带宽,提高网站加载速度,提高访问者的体验;其次,AVIF格式丰富的特性支持,可以支持更多的设备和浏览器,提高图片的可用性,并可以免专利费的优势;最后,AVIF格式支持图片的质量优化,可以保证图片的质量,同时节省更多的容量。

99 Technology lddgo Shared on 2023-03-27

B站内各业务产品迭代离不开各种数据决策,而依托于埋点的用户行为数据在其中起到了 关键作用。埋点也是算法推荐、渠道投放、业务决策的重要数据来源,鉴于此,如何规范埋点设计,高效采集,让业务团队快速直观分析成为了推进业务发展的重要一环。 本文主要分享B站过去在埋点规范设计、埋点分析应用的经验,我们相信数据只有流动起来,才能发挥它的价值,The data must flow!

23 Technology lddgo Shared on 2023-03-27

随着B站业务的高速发展,业务产生的数据每天以PB级的速度持续增长,之前主要应对方法是分析数据的使用频率,把数据分为热冷俩类数据,对冷数据进行高密存储来降低存储成本,以及对部分非核心的冷数据进行数据周期管理。随着体量的增大,即使TTL机制的运行,冷数据的存储量也越来越多,这部分数据长时间未有访问,但仍然具有一定的价值,不能随意清理,且占总体数据量的30%以上,现有的高密存储机制虽然能一定程度上降低存储成本,但是为了进一步的降本增效,我们计划用技术手段进一步节省存储成本。 目前社区针对降低存储容量的手段主要就是EC策略,我们为此推动了HDFS EC在B站存储上进行实践。

37 Technology lddgo Shared on 2023-03-15

在降本增效的大背景下,为提高机器资源利用率,将不同优先级的在线业务(通常为延迟敏感型高优先级任务)和离线任务(通常为延时不敏感型低优先级任务)部署在相同的物理机器上。内存作为重要资源,混部任务一旦调度到某个k8s节点后,在内存资源使用上可能对在线任务产生竞争,为了避免此种情况对在线任务的干扰,我们可能需要感知在线任务的负载情况并做相应的内存隔离管控,尽量做到对在线任务零干扰。

21 Technology lddgo Shared on 2023-03-08

自动语音识别(Automatic Speech Recognition,ASR)技术目前已大规模落地于B站相关业务场景,例如音视频内容安全审核,AI字幕(C端,必剪,S12直播等),视频理解(全文检索)等。

31 Technology lddgo Shared on 2023-03-01

为了提高开发效率和质量,我们常常需要ORM来帮助我们快速实现持久层增删改查API,目前go语言实现的ORM有很多种,他们都有自己的优劣点,有的实现简单,有的功能复杂,有的API十分优雅。在使用了多个类似的工具之后,总是会发现某些点无法满足解决我们生产环境中碰到的实际问题,比如无法集成公司内部的监控,Trace组件,没有database层的超时设置,没有熔断等,所以有必要公司自己内部实现一款满足我们可自定义开发的ORM,好用的生产工具常常能够对生产力产生飞跃式的提升。

31 Technology lddgo Shared on 2023-02-22