美团 BI 在指标平台和分析引擎上的探索和实践
出处:
mp.weixin.qq.com
在美团,我们构建了以指标平台为核心的新一代 BI 架构,通过自动语义和增强计算两种核心能力的建设,部分解决了传统 BI 平台在个性化数据集驱动下产生的数据口径混乱、查询性能差等问题。自动语义能力实现了“定义即研发”。它将业务语言定义的指标自动解析为结构化的逻辑表达,并通过主外键关系将数仓模型自动关联成星型、雪花等模型,从而扩展出复杂指标。该能力贯穿了指标定义、模型关联、指标高亮与路由选表、以及查询语义构建的全流程。我们利用自动语义能力,并结合指标仓库的预计算模式,不但使业务能够灵活扩展、查询、分析复杂指标,也满足了在有限时间内完成指标扩展、模型关联等复杂查询前置依赖计算的要求。增强计算能力则旨在平衡运营监控(要求秒级响应)与灵活分析(处理海量数据)两种场景下的性能与成本挑战。它通过智能查询服务(支持多引擎模型、查询降级策略)和智能物化(自动构建宽表和汇总表)来提升查询稳定性和性能。此外,我们也对增量计算引擎进行探索,利用其存算分离、弹性伸缩、向量化执行等特性,进一步提升了查询性能和系统稳定性。