百度MEG数据中台ClickHouse在数据湖仓中的探索和应用

Source : mp.weixin.qq.com

随着图灵3.0生态在业务中不断深入，数据量和分析需求飞速增长，传统ClickHouse架构面临成本高昂、即席探索链路冗长以及故障恢复缓慢等问题。为解决上诉问题，百度MEG数据中台构建了存算分离的湖仓一体架构。通过打通Meta服务与图灵元数据，实现湖上数据“零入库”的透明访问；并利用冷热分层缓存、数据上卷及布局优化，攻克了共享存储下的IO效率难题。最后，为保障复杂查询场景下的系统稳定性，系统建设了统一查询网关，支持将复杂查询任务透明降级至Spark运行。