5128 条查询结果
随着B站大数据业务的高速发展，各类业务资源需求也随之快速增长。与此同时，大数据集群有效的资源利用率低于预期，究其原因主要有以下两点， 业务出于性能、稳定性考量会向平台申请过量的系统资源，导致平台不会调度更多任务上来运行。 对于高低优任务资源隔离能力不足导致有竞争时，高优任务受影响甚至被误杀。 为了解决业务资源过量，大数据团队在hadoop架构中加入了自研超配组件Amiya。Amiya依据用户申请的资源量一般大于用户真实使用的资源量的基本推论，根据当前机器的实际负载情况，向调度组件虚报一定的资源量，使得更多的任务能够被调度到服务器上。同时，在大部分任务申请量接近其真实使用量时，Amiya需要及时驱逐一定量的任务以保证服务器整体稳定运行，关于Amiya细节信息可参考B站大数据集群混部实践（上）- 资源超配篇。
日常项目基础工作耗费大量时间、紧急任务一连“肝”几个大夜……对于一个计算机相关专业研究生来说，几乎是家常便饭。随着大模型能力赋能编码工具，被开发者们戏称的“代码搬砖”生活有了起色。 从去年开始，PPDE 飞桨开发者技术专家、澳门理工大学研二学生王荣胜，和他的实验室伙伴们用上了智能代码助手 Baidu Comate，用于协助解决基础重复的代码编写工作，推进实验室的医学影像数据处理项目提效。原本处理150G的医学影像数据，需要3个人花一周时间才能完成数据处理的代码编写工作。使用 Baidu Comate “实时续写”、“注释生成代码”、“代码生成注释”、“私域知识增强”等功能后，只需要1个人花2天时间就可以完成，项目整体的团队协作效率也获得了提升。
