产品简介

概述

BMR on CCE 是基于百度智能云容器引擎（CCE） 的云原生大数据计算平台，为用户提供高可靠、高性能的一站式分布式计算服务，并以 Kubernetes（K8s）为统一资源调度引擎，支持 Spark、Flink、Kyuubi、Prometheus及Celeborn 等组件的容器化运行，帮助企业更高效地构建、运行和管理大数据工作负载，用户可在容器环境下快速部署、扩缩、升级大数据集群，实现更高的资源利用率、更低的运维成本和更快的作业响应能力。

核心特性

• 云原生调度：以 Kubernetes 为核心调度引擎，支持多租户资源隔离与统一资源管理，实现作业在容器环境下的高效调度与稳定运行。
• 组件容器化：原生支持 Spark、Flink、Kyuubi、Prometheus、Celeborn 等核心组件，兼顾计算性能与监控可视化。
• 敏捷部署与升级：支持镜像化交付与一键部署，组件升级不影响业务连续性。
• 更高的资源利用率与运维效率：通过容器化封装与服务编排，实现快速部署、自动恢复与灵活扩展。
• 无缝迁移与生态兼容：兼容 BMR on BCC 的作业与配置，便于用户平滑过渡到云原生大数据架构。

组件介绍

• Spark：基于内存计算的分布式数据处理引擎，支持批处理、流计算、SQL 查询及机器学习，具备高性能与高扩展性。
• Flink：面向流批一体的大数据计算引擎，擅长低延迟、高吞吐的实时计算与复杂事件处理。
• Kyuubi：高性能的分布式 SQL 查询网关，提供统一的多租户访问入口，简化 Spark SQL 等计算引擎的使用。
• Prometheus：开源监控与告警系统，负责采集、存储和可视化 BMR 集群及各组件的运行指标。
• Celeborn：新一代分布式 Shuffle 服务，优化 Spark、Flink 等计算框架的数据交换性能，提升作业稳定性与效率。