随着业务的高速发展,针对HDFS元数据的访问请求量呈指数级上升。在之前的工作中,我们已经通过引入HDFS Federation和Router机制实现NameNode的平行扩容,在一定程度上满足了元数据的扩容需求;也通过引入Observer NameNode读写分离架构提升单组NameSpace的读写能力,在一定程度上减缓了读写压力。但随着业务场景的发展变化,NameSpace数量也在上升至30+组后,Active+Standby+Observer NameNode 的架构已经无法满足所有的元数据读写场景,我们必须考虑提升NameNode读写能力,来应对不断上升的元数据读写要求。 如图1-1 所展示的B站离线存储整体架构所示,随着业务的不断增量发展,通过引入HDFS Router机制实现NameNode的平行扩容,目前NameSpace的数量已经超过30+组,总存储量EB级,每日请求访问量超过200亿次。各个NameSpace之间的读写请求更是分布非常不均衡,在一些特殊场景下,部分NameSpace的整体负载更高。
近期,在我们的内容技术灵媒智算平台(MVAP)上部署的服务数量提升迅猛,部分业务场景对SD系列模型的推理速度有着一定的要求。因此,我们对当前较为流行的SD加速方式进行了调研与测试,并以AI试衣业务场景为例,尝试了多种加速方案。下面是对调研结果与实际落地效果的一些总结与分享。
“沉睡数千年,一醒惊天下”,青铜神树、青铜立人像、金杖……沉睡的三星堆自出土之后,带着令人着迷的文化谜团吸引着大量考古学家和游客涌入,他们带着对古蜀文明和宗教仪式的好奇来到三星堆博物馆,一步步探索揭秘…… 腾讯探元计划2023的第三个场景共建项目就与这个“探索”有关,项目共建团队通过数字IP形象“蜀堆堆”来和游客进行互动,过程中优化和丰富游客的文化体验,创造游客和三星堆之间的“专属记忆”。
电商供应链的系统建设一般偏向于数据管理类型,但此类系统建设有一个很明显的问题就是前后端开发的沟通成本较高(相对研发成本而言),特别是一些简单加减字段的诉求沟通成本甚至达到 50% 以上,如何将这部分沟通成本降低下来,并保证高质量的交付成为目前亟待解决的问题。
在AI领域,大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月19日凌晨,Meta在官网上官宣了Llama-3,作为继Llama-1、Llama-2和Code-Llama之后的第三代模型,Llama-3在多个基准测试中实现了全面领先,性能优于业界同类最先进的模型。 纵观Llama系列模型,从版本1到3,展示了大规模预训练语言模型的演进及其在实际应用中的显著潜力。这些模型不仅在技术上不断刷新纪录,更在商业和学术界产生了深远的影响。因此,对Llama模型不同版本之间的系统对比,不仅可以揭示技术进步的具体细节,也能帮助我们理解这些高级模型如何解决现实世界的复杂问题。