数据类型

Model对象定义

Cluster

参数名	参数类型	参数描述
applications	List<Application>	需要安装的组件信息（如hive，pig，hbase）
id	String	集群ID，是一个定长字符串，只包含大小写字母、数字、连字号（-）和下划线（_）
imageType	String	集群类型，参考BMR集群
imageVersion	String	集群版本，参考BMR集群
name	String	集群名称
payType	String	支付方式
enableAutoScale	String	是否支持自动扩缩容
status	ClusterStatus	集群状态信息
vpcId	String	集群所选 vpc 信息
subnetId	String	集群所选子网信息
securityGroupId	String	集群所选安全组
createTime	Date	创建时间
tags	List	集群标签

Application

参数名	参数类型	参数描述
name	String	组件名称（如hive，spark，hbase，hue），参考BMR集群
properties	Object	组件属性，具体内容由不同组件决定
version	String	组件版本，参考BMR集群

组件属性

hive组件的properties定义如下：

参数名	参数类型	参数描述
metastore	String	hive metastore启用方式。default表示使用集群内部的metastore服务，mysql表示使用用户自行提供的mysql服务。
host	String	mysql服务器地址，当metastore为default时，该域不出现
port	String	mysql服务器端口，当metastore为default时，该域不出现
database	String	metastore使用的数据库名称，当metastore为default时，该域不出现
userName	String	用于连接mysql服务器的用户名，当metastore为default时，该域不出现hbase组件、pig组件、hue组件没有properties域

ClusterStatus

参数名	参数类型	参数描述
creationDateTime	String	集群创建的时间，符合日期时间格式约束
endDateTime	String	集群停止的时间，符合日期时间格式约束
readyDateTime	String	集群完成部署的时间，符合日期时间格式约束
state	String	集群状态
message	String	集群错误信息
code	String	集群错误码
orderStatus	String	订单状态
expireDateTime	Date	过期时间
expireDates	Date	过期日期

Step

参数名	参数类型	参数描述
actionOnFailure	String	作业失败策略
id	String	作业ID，是一个定长字符串，只包含大小写字母、数字、连字号（-）和下划线（_）
name	String	作业名称
properties	Object	作业描述，具体内容由作业类型决定
status	StepStatus	作业状态信息
type	String	作业类型
logUri	String	作业日志路径
stderr	String	作业error信息
stdout	String	作业输出
syslog	String	作业log输出
clusterId	String	集群id

StepStatus

参数名	参数类型	参数描述
creationDateTime	String	作业提交的时间，符合日期时间格式约束
endDateTime	String	作业结束的时间，符合日期时间格式约束
startDateTime	String	作业开始执行的时间，符合日期时间格式约束
state	String	作业状态
code	String	作业错误码
message	String	作业错误信息

枚举类型定义

实例组类型

编码	描述
Master	主实例组
Core	核心实例组，适合存储
Task	任务实例组，适合扩展
Client	客户端实例组，适合扩展
AutoScaling	弹性伸缩实例组，适合扩展

集群状态

编码	描述
Starting	启动中
Running	运行中
Resizing	调整中
Terminating	释放中
Terminated	已释放
TerminatedWithError	已释放但有错误
Suspending	停服中
Suspended	已停服
Resuming	恢复中

实例状态

编码	描述
Configuring	配置中
Running	运行中
Suspending	挂起中
Suspended	已挂起
Resuming	恢复中
Deleting	释放中
Terminated	已释放

作业类型

编码	描述
Streaming	MapReduce Streaming程序
Hive	HQL程序
Pig	pig作业
Java	用户自定义Java程序
Spark	Spark作业

作业失败策略

编码	描述
Continue	继续执行其他作业
TerminateCluster	作业失败后释放集群
CancelAndWait	作业失败后取消其他尚未执行的作业并将集群置为空闲状态

作业状态

编码	描述
Pending	等待中
Running	运行中
Completed	已完成
Cancelled	已取消
Failed	已失败

BMR集群

集群类型	集群版本	支持的组件
BMR	1.0.0	hadoop 2.7 spark 1.6.0 hive 1.2.0 pig 0.15.1 hue 3.10.0 hbase 1.1.2
BMR	1.1.0	hadoop 2.7 hive 1.2.0 pig 0.15.1 hue 3.10.0 spark 2.1.0 hbase 1.1.2
BMR	1.2.0	hadoop 2.7 hive 1.2.0 pig 0.15.1 hue 3.10.0 spark 2.1.0 hbase 1.1.2 ranger 0.5.0
BMR	2.0.0	hadoop 3.1 hive 3.1.0 spark 2.3.2 pig 0.17.0 hue 4.4.0 presto 0.219 hbase 2.0.2 azkaban 3.58.0 zeppelin 0.8.0 flink 1.8.2 druid 0.12.1 impala 3.2.0
BMR	2.1.0	hadoop 3.1 hive 3.1.0 spark 2.4.2 pig 0.17.0 hue 4.4.0 presto 0.219 hbase 2.0.2 azkaban 3.58.0 zeppelin 0.8.0 flink 1.8.2 druid 0.12.1 impala 3.2.0 kafka 2.0.1

实例规格

实例规格请参见实例规格

云磁盘类型

编码	类型	描述
ssd	高性能云磁盘	系统盘和数据盘支持选择该类型
premium_ssd	通用型SSD盘	系统盘和数据盘支持该类型
enhanced_ssd_pl1	增强型SSD盘	系统盘和数据盘支持该类型

InstanceGroupConfig数据结构

参数名	参数类型	是否必须	参数描述
instanceCount	Int	是	实例组中的虚拟机数量
instanceType	String	是	实例组中的虚拟机类型，参考实例规格
type	String	是	Master、Core或Task，参考实例组类型
name	String	否	实例组名称，默认为空
rootDiskSizeInGB	int	是	系统盘磁盘容量大小
rootDiskMediumType	String	是	系统盘磁盘介质类型
cds	List<CdsItem>	否	数据盘云磁盘列表

注意：instanceGroups域应包括三个实例组，type分别为Master、Core和Task，Master实例组instanceCount为1，Core实例组instanceCount不小于2且不大于20，Task实例组instanceCount不大于20。

ApplicationConfig数据结构

参数名	参数类型	是否必须	参数描述
name	String	是	组件名称（如hive，pig，hbase, hue），参考BMR集群
version	String	是	组件版本，参考BMR集群
properties	Object	否	组件属性，具体内容由不同组件决定

组件属性

hive组件的properties定义如下：

参数名	参数类型	是否必须	参数描述
metastore	String	否	hive metastore启用方式。若使用集群内部的metastore服务则应设为default，若用户自行提供mysql服务则应设为mysql。默认为default
host	String	否	mysql服务器地址，若metastore选用mysql，则必须提供
port	String	否	mysql服务器端口，若metastore选用mysql，则必须提供
database	String	否	metastore使用的数据库名称，若metastore选用mysql，则必须提供
userName	String	否	用于连接mysql服务器的用户名，若metastore选用mysql，则必须提供
password	String	否	用于连接mysql服务器的密码，若metastore选用mysql，则必须提供

StepConfig数据结构

参数名	参数类型	是否必须	参数描述
actionOnFailure	String	是	作业失败策略
properties	Object	是	作业描述，具体内容由作业类型决定
type	String	是	作业类型
name	String	否	作业名称，默认为my-step
additionalFiles	List<AdditionalFile>	否	额外的文件

AdditionalFile数据结构

参数名	参数类型	是否必须	参数描述
remote	String	否	远程文件
local	String	否	本地文件

作业描述

Streaming作业的properties定义如下：

参数名	参数类型	是否必须	参数描述
input	String	是	输入路径
mapper	String	是	mapper程序
output	String	是	输出路径
arguments	String	否	hadoop streaming执行参数
reducer	String	否	reducer程序

Hive作业的properties定义如下：

参数名	参数类型	是否必须	参数描述
script	String	是	hql脚本在BOS上的存储路径
arguments	String	否	hql脚本执行参数
input	String	否	预定义的输入路径，可在hql脚本中通过${INPUT}来引用
output	String	否	预定义的输出路径，可在hql脚本中通过${OUTPUT}来引用

Pig作业的properties定义如下：

参数名	参数类型	是否必须	参数描述
script	String	是	pig脚本在BOS上的存储路径
arguments	String	否	pig脚本执行参数
input	String	否	预定义的输入路径，可在pig脚本中通过${INPUT}来引用
output	String	否	预定义的输出路径，可在pig脚本中通过${OUTPUT}来引用

Java作业的properties定义如下：

参数名	参数类型	是否必须	参数描述
jar	String	是	自定义java程序在BOS上的存储路径
mainClass	String	是	自定义java程序的主入口
arguments	String	否	自定义java程序的执行参数

Spark作业的properties定义如下：

参数名	参数类型	是否必须	参数描述
jar	String	是	自定义程序在BOS上的存储路径
submitOptions	String	是	spark-submit脚本的参数
arguments	String	否	自定义程序的执行参数

ModifyInstanceGroupConfig数据结构

参数名	参数类型	是否必须	参数描述
id	String	是	实例组id
instanceCount	int	是	修改后实例组内实例数

InstanceGroup数据结构

参数名	参数类型	参数描述
id	String	实例组ID
name	String	实例组名称
type	String	Master、Core、Task、Client 或 AutoScaling，参考实例组类型
spec	String	实例规格
cpu	Int	cpu 核数
Memory	Int	内存大小
isSpot	Boolean	是否为抢占实例
bidModel	String	竞价类型
bidPrice	String	竞价实例价格
cds	CDS	云磁盘
diskType	String	磁盘类型
localDiskSize	Int	本地盘大小
rootDiskSizeInGB	Int	系统盘大小
rootDiskMediumType	String	系统盘介质类型
totalInstanceCount	Int	总实例数量
requestedInstanceCount	Int	请求实例数量
runningInstanceCount	Int	运行中的实例数量
maxCount	Int	最大允许的实例数量
minCount	Int	最小允许的实例数量
canExpand	Int	是否支持扩容，1表示支持，0表示不支持
canShrink	Int	是否支持缩容，1表示支持，0表示不支持

Instance数据结构

参数名	参数类型	参数描述
id	String	BMR实例ID
bccInstanceId	String	BCC实例ID
instanceName	String	B实例名称
status	InstanceStatus	实例状态
privateIpAddress	String	实例内网ip
publicIpAddress	String	实例公网ip

InstanceStatus

参数名	参数类型	参数描述
creationDateTime	String	实例创建时间，符合日期时间格式约束
endDateTime	String	实例停止时间，符合日期时间格式约束
state	String	实例状态

CdsItem数据结构

参数名	参数类型	参数描述
sizeInGB	Int	磁盘大小
mediumType	String	磁盘介质类型