在犹他州盐湖城举办的北美Kubecon大会上,云原生计算基金会(CNCF®)于2024年11月14日发布了2024年最新的CNCF技术景观雷达报告。该报告深入评估了生态系统中多集群应用管理以及批处理、AI和ML计算技术的生产就绪状态。 CNCF技术景观雷达通过调查300多名使用云原生技术的专业开发者以及CNCF最终用户社区的成员,收集了他们在多集群应用管理以及批处理、AI和ML技术方面的实际使用经验。这些反馈代表了云原生最终用户最关心的实际问题。 报告根据各项技术的生产使用准备情况进行评估,并将它们分为四个类别:采用、试验、评估和保留。其中,“采用”类别包括成熟度最高、用户广泛认可的技术。特别值得注意的是,批处理、AI和大数据领域的相关项目,Apache Airflow、CNCF的CubeFS、Kubeflow和Fluid,这四个技术因其在基于Kubernetes的云原生AI体系中的应用而备受关注,成为业界技术选择的风向标。
在《醍醐灌顶!异地多活架构设计看这篇就够了》一文中,基于容灾需要,讨论了数据写入的架构模型。数据读取方面,重点在于解决读取请求的负载分担、路由选择的问题,对于容灾架构的选择影响不大。不过,其中的“写后立即读”场景,是个一致性范畴的问题,即写入的数据和写入后读到的数据是否一致的问题,本文不展开讨论各种一致性模型,只关注“写后立即读”的要求是数据写入后短时间内到来的读请求能够读取到最新写入的值这一具体问题,这是互联网应用中数据读取中比较独特和典型的场景,值得深入探讨,本文尝试分析一下这个问题的细节并探讨相应的解决思路。
可观测性最早源于控制理论,是衡量一个系统从其外部输出中推断系统内部状态的一种度量,后被引申到计算机领域,用于表达系统故障的可观测性。一般来说, 可观测性有三大支柱:日志、链路和指标,这三部分各有侧重,相互交叉但又相对独立,它们一起组成了可观测性的基石。
大模型加速了各行业的发展,大模型的安全问题一直以来也被广泛关注和讨论。 本期大牛书单,我们邀请了7位鹅厂安全方面的同事,为大家推荐一些他们读过的、觉得非常有价值的大模型安全方面的书籍。其中包含了AI安全落地应用、安全构建和部署大语言模型、预防LLM技术中的安全风险等多方面的书籍。 希望这些推荐能给对大模型安全感兴趣的你一些启发。
EchoMimicV2 是蚂蚁集团支付宝终端算法数据技术团队的一项数字人技术开源项目。 仅需输入一张参考图像、一段音频及一段手势序列,即可生成高质量人物动画视频,同时确保半身数字人与音频内容之间的协调。
数据资产管理平台是抖音集团在复杂业务场景中思考的新方向,本文将简单介绍“抖音集团数据资产管理平台”全貌,启发大家对于元数据以及数据资的全新思考,让大家以更宏观视角认识血缘,并对于建设好数据血缘,提供一些建设性思路。
作为数据科学与机器学习经典竞赛,Kaggle 以其高难度、高奖金、高关注度吸引了大量顶尖人才参与。Kaggle 竞赛任务往往涉及需求理解、数据清洗和预处理、特征工程和建模等多个环节,需要参与者具备极强的专业知识与协作能力。 字节跳动豆包大模型团队与 M-A-P 社区于近日提出 AutoKaggle ,为数据科学家提供了一个端到端的数据处理解决方案,帮助简化和优化日常数据科学工作流程的同时,极大降低数据科学的门槛,可帮助更多没有相关背景的使用者进行有价值的探索。在相关评估中,AutoKaggle 性能表现超出人类平均水平。 目前,该成果已经开源,本文将介绍其立项缘起、技术亮点及实验中的更多结论。