Spark示例 前提条件 已完成创建 BMR 集群,并且配置了 Paimon、Spark 组件,详情请参见创建集群。 注意事项 Paimon 的 JAR 文件已存放到 ${SPARK_HOME}/jars 目录; 默认使用 Hive Catalog; Hive 用户可以直接使用 Spark 创建的表; 启动 Spark
版本更新记录 2019-04-11 将旧版本的api 迁移到新版
安装SDK工具包 环境准备 运行环境 Python SDK工具包支持在Python 2.7 以上环境运行。 安装pycrypto依赖 安装SDK之前,需要先执行命令 pip install pycrypto 安装pycrypto依赖。 如果安装失败,请执行 pip install pycryptodome 下载和安装
异常 异常提示 BMR异常提示有如下两种方式: 异常方法 说明 BceClientException 客户端异常 BceServerException 服务器异常 获取事件异常 用户可以使用try获取某个事件所产生的异常,例如: Java 复制 1 try { 2 CreateClusterResponse respo
客户端登录 操作步骤 远程登录到创建好的集群 Plain Text 复制 1 ssh root@$public_ip 登录ClickHouse客户端 Plain Text 复制 1 su - clickhouse 2 clickhouse-client -m -u admin --password 集群密码 表一 cl
Instance(实例) 查询实例列表 如下代码可查询指定集群和实例组的实例: Python 复制 1 try : 2 response = bmr_client . list_instances ( cluster_id , instance_group_id ) 3 for instance in response
快速入门 初始化一个BmrClient。 BmrClient是与BMR服务交互的客户端,所有BMR操作都是通过BmrClient完成的。用户可以参考 新建BmrClient ,完成初始化客户端的操作。 新建一个BMR(集群)。 用户创建一个BMR集群,用于提交并运行指定的作业。在提交作业之前,必须先创建出一个集群。创建
日志 概述 BMR Java SDK发布版本中增加了logback作为slf4j的实现,如果用户没有自己的实现可以直接用,如果工程中有其他的如log4j则可以替代。 默认日志 如果用户使用默认的logback,则需要配置logback.xml到classpath中。如果没有这个配置文件,日志级别默认为DEBUG。 XM
防御白名单 新增队列 进入MapReduce集群列表界面,点击集群名称进入详情界面。 选择侧边导航SQL防御>防御白名单,在界面单击新增队列按钮,填写队列的名称后确定队列白名单创建完成。 删除队列:创建完成的队列以列表形式展示,单击列表操作列删除按钮,可对队列进行删除操作。 注意:删除队列白名单后,将会一并删除规则里已
InstanceGroup(实例组) 查询实例组列表 如下代码可根据集群ID获取其实例组信息: Python 复制 1 try : 2 response = bmr_client . list_instance_groups ( cluster_id ) 3 for instance_group in response