DolphinScheduler DolphinScheduler是一个分布式、易扩展的可视化工作流任务调度平台,致力于解决数据处理流程中复杂的任务依赖关系,支持以低代码拖拽的方式构建高性能工作流。BMR集成的DolphinScheduler版本为3.2.0。 简介 DolphinScheduler采用分布式去中心化架
公共头 公共请求头 头域 说明 是否必须 host 服务域名 必须 Authorization 鉴权信息,详细请参考 鉴权认证 必须 x-bce-date 该请求创建的时间,表示日期一律采用YYYY-MM-DD方式,例如2014-06-01表示2014年6月1日。如果用户使用了标准的Date域,该头域可以不填。当两者同
数据准备 以准备Web日志数据为例,您可以直接使用百度智能云提供的样例数据,也可根据说明构造自己的输入数据: 使用百度智能云提供的样例数据,路径如下: 存储在“华北-北京”区域的样例数据路径为:bos://datamart-bj/web-log-10k/,仅华北区域的BMR集群可用。 存储在“华南-广州”区域的样例数据
环境准备 注册并登录百度智能云平台,具体操作请参考 注册 和 登录 。 选择 产品服务>MapReduce BMR ,进入BMR服务。 使用BMR需要通过实名认证,每个账户只需认证一次。点击“立即去认证”,进入“实名认证”页面。 选择“企业认证”或者“个人认证”。 运用BMR的各组件做数据处理后,结果将输出到对象存储B
访问模式 ClickHouse集群创建完成后,用户可以通过BLB(负载均衡)、JDBC或HTTP直连三种方式访问集群。通过BLB访问适用于业务程序不希望直接维护多个ClickHouse节点IP的场景;通过JDBC访问适用于Java应用直接集成ClickHouse数据源的场景;通过HTTP直连访问适用于脚本调用、临时查询
集群改密 您可以通过重置集群管理员密码功能,修改 BMR 集群保存的管理员密码。修改成功后,新创建的节点(如扩容节点)将自动使用新的管理员密码进行初始化, 不会影响当前集群中已有节点的系统登录密码 。 如需修改已有节点的系统登录密码,请在 节点管理 页面执行 重置密码 操作。修改现有节点密码将触发节点重启,可能导致正在
查看作业 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 在“产品服务>MapReduce>MapReduce-作业列表”中,点击作业名称,可查看作业基本信息。 Hadoop将job分成若干个task进行处理,共有两种类型的ta
续费说明 续费方式 MapReduce目前支持自动续费和手动续费。使用预付费方式购买的包年包月集群,在集群状态为“运行中”或“已停服”时可续费。 表一 续费说明 续费类型 续费说明 自动续费 在 产品服务>MapReduce>集群列表 页,单击 自动续费 按钮进入续费管理。 手动续费 1.在 产品服务>MapReduc
产品功能 产品功能 便捷易用的容器化集群管理:BMR on CCE 提供可视化操作界面,用户可轻松创建、管理和升级云原生大数据集群。集群部署基于容器化架构,支持 Spark、Flink、Kyuubi 等组件的一键化安装和配置,无需复杂运维操作即可快速构建稳定可靠的计算环境。 高效作业开发与运行:BMR on CCE 提
安全组 安全组是在VPC网络内为BCC实例和DCC专属实例、负载均衡实例、云数据库实例中创建的安全防火墙,定义IP+端口的入站和出站访问策略,从而提高云服务器、负载均衡、云数据库等实例的安全性。安全组分为普通安全组和企业安全组,功能概述如下: 表一 功能说明 功能 普通安全组 企业安全组 安全组无任何规则 入方向:拒绝