集群操作接口

创建集群

接口描述

向BMR服务请求创建一个新的集群。

权限说明

请求发起人需要具有合法的AccessKeyID和SecretAccessKey才能发起请求,请参考 鉴权认证

注意事项

如果请求中没有用户验证信息(即匿名访问),返回403 Forbidden,错误信息:AccessDenied

请求结构

POST /v{version}/cluster?clientToken={clientToken} HTTP/1.1
accept-encoding: gzip, deflate
x-bce-date: {utc-date-string}
host: bmr.bj.baidubce.com
connection: keep-alive
accept: */*
content-type: application/json
authorization: {bce-authorization-string}

请求头域

除公共头域外,无其它特殊头域。

头域 类型 说明 是否必须
Origin String 请求来源域,用来标识跨域请求,只允许一个方法。类型:字符串。默认值:无。 必须
Access-Control-Request-Method String 在实际请求中将会用到的方法,只允许一个方法。类型:字符串。取值为“PUT/GET/DELETE/POST/HEAD”,无默认值。 必须
Access-Control-Request-Headers String 在实际请求中会用到的除了简单头部之外的Headers,多个headers用逗号分割。类型:字符串。默认值:无。 必须

请求参数

名称 类型 是否必须 参数位置 参数描述
version String URL参数 API版本号,当前取值1
imageType String RequestBody参数 镜像类型,应使用hadoop,参考BMR镜像
imageVersion String RequestBody参数 镜像版本,应使用0.1.0,参考BMR镜像
instanceGroups List\<InstanceGroupConfig> RequestBody参数 实例组配置
clientToken String Query参数 幂等性Token,是一个长度不超过64位的ASCII字符串
applications List\<ApplicationConfig> RequestBody参数 需要安装的组件信息(如hive,pig,hbase)
autoTerminate Boolean RequestBody参数 为true则在运行完所有作业后自动释放集群,默认为true
logUri String RequestBody参数 用于上传运行日志的BOS路径,不提供则不上传日志
name String RequestBody参数 集群名称,默认为my-cluster
steps List\<StepConfig> RequestBody参数 需要运行的作业信息,参考添加作业协议
serviceHaEnabled Boolean RequestBody参数 是否开启高可用
safeModeEnabled Boolean RequestBody参数 是否开启安全模式

响应头域

除公共头域外,无其它特殊头域。

响应参数

名称 类型 描述

clusterId | String | 系统生成的集群唯一标识

请求示例

POST /v1/cluster?clientToken=be31b98c-5e41-4838-9830-9be700de5a20 HTTP/1.1
accept-encoding: gzip, deflate
x-bce-date: 2015-03-24T13:02:00Z
host: bmr.bj.baidubce.com
connection: keep-alive
accept: */*
content-type: application/json
authorization: bce-auth-v1/46bd9968a6194b4bbdf0341f2286ccce/2015-03-24T13:02:00Z/1800/host;x-bce-date/994014d96b0eb26578e039fa053a4f9003425da4bfedf33f4790882fb4c54903

{
    "applications": [
        {
            "name": "hive",
            "properties": {
                "metastore": "default"
            },
            "version": "0.13.0"
        }
    ],
    "autoTerminate": false,
    "imageType": "hadoop",
    "imageVersion": "0.1.0",
    "instanceGroups": [
        {
            "instanceCount": 1,
            "instanceType": "bmr.g1.2xlarge",
            "name": "ig-master",
            "type": "Master",
            "rootDiskSizeInGB":50, 
            "rootDiskMediumType":"ssd", 
            "cds":[ 
                {
                    "sizeInGB":100, 
                    "mediumType":"ssd" 
                }
            ]
        },
        {
            "instanceCount": 2,
            "instanceType": "bmr.gh1.large",
            "name": "ig-core",
            "type": "Core",
            "rootDiskSizeInGB":50, 
            "rootDiskMediumType":"ssd", 
            "cds":[ 
                {
                    "sizeInGB":100, 
                    "mediumType":"ssd" 
                }
            ]
        }
    ],
    "logUri": "bos://mybucket/log",
    "name": "my-cluster",
    "steps": [
        {
            "actionOnFailure": "Continue",
            "arguments": "-D mapreduce.job.reduces=20",
            "name": "my-mapreduce-streaming",
            "properties": {
                "mapper": "cat",
                "reducer": "cat",
                "input": "bos://mybucket/inputs/txt-1m",
                "output": "bos://mybucket/outputs/streaming"
            },
            "type": "Streaming"
        }
    ]
}

响应示例

HTTP/1.1 201 CREATED
Transfer-Encoding: chunked
x-bce-request-id: 73c4e74c-3101-4a00-bf44-fe246959c05e
Cache-Control: no-cache
Server: BWS
Date: Tue, 24 Mar 2015 13:02:01 GMT
Content-Type: application/json;charset=UTF-8
{
    "clusterId": "0181b994-576a-4a00-b04e-f6fa9d5eee48"
}

查询集群列表

接口描述

查询所有集群的信息,支持分页查询。

权限说明

请求发起人需要具有合法的AccessKeyID和SecretAccessKey才能发起请求,请参考 鉴权认证

注意事项

如果请求中没有用户验证信息(即匿名访问),返回403 Forbidden,错误信息:AccessDenied

请求结构

GET /v{version}/cluster?marker={marker}&maxKeys={maxKeys} HTTP/1.1
accept-encoding: gzip, deflate
x-bce-date: {utc-date-string}
host: bmr.bj.baidubce.com
connection: keep-alive
accept: */*
content-type: application/json
authorization: {bce-authorization-string}

请求头域

除公共头域外,无其它特殊头域。

请求参数

参数名 参数类型 是否必须 参数位置 参数描述
version String URL参数 API版本号,当前取值1
marker String Query参数 批量获取列表的查询的起始位置,是一个由系统生成的字符串
maxKeys Int Query参数 每页包含的最大数量,最大数量不能超过1000。大于1000的会被修正为1000。缺省值为1000

响应头域

除公共头域外,无其它特殊头域。

响应参数

参数名 参数类型 参数描述
marker String 标记查询的起始位置
isTruncated Boolean true表示后面还有数据,false表示已经是最后一页
nextMarker String 获取下一页所需要传递的marker值。当isTruncated为false时,该域不出现
clusters List\<Cluster> 返回的集群列表

请求示例

GET /v1/cluster?marker=9e0c8cf1-690c-444a-8727-04241f3beaa5&maxKeys=30 HTTP/1.1
accept-encoding: gzip, deflate
x-bce-date: 2015-03-24T13:02:00Z
host: bmr.bj.baidubce.com
connection: keep-alive
accept: */*
content-type: application/json
authorization: bce-auth-v1/46bd9968a6194b4bbdf0341f2286ccce/2015-03-24T13:02:00Z/1800/host;x-bce-date/994014d96b0eb26578e039fa053a4f9003425da4bfedf33f4790882fb4c54903

响应示例

HTTP/1.1 200 OK
Transfer-Encoding: chunked
x-bce-request-id: 73c4e74c-3101-4a00-bf44-fe246959c05e
Cache-Control: no-cache
Server: BWS
Date: Tue, 24 Mar 2015 13:02:01 GMT
Content-Type: application/json;charset=UTF-8
{
    "clusters": [
        {
            "applications": [
                {
                    "name": "hive",
                    "properties": {
                        "metastore": "default"
                    },
                    "version": "0.13.0"
                }
            ],
            "autoTerminate": false,
            "id": "d647cda9-b308-47e4-a2ab-0a4908e17643",
            "imageType": "hadoop",
            "imageVersion": "0.1.0",
            "logUri": "bos://mybucket/log/hive-cluster",
            "name": "my-hive-cluster",
            "status": {
                "code": null,
                "creationDateTime": "2014-11-06T03:11:27Z",
                "endDateTime": null,
                "message": null,
                "readyDateTime": null,
                "state": "Starting"
            }
        },
        {
            "applications": [],
            "autoTerminate": false,
            "id": "479b9933-0b7a-403f-9553-388db551cbd0",
            "imageType": "hadoop",
            "imageVersion": "0.1.0",
            "logUri": "bos://mybucket/log/hadoop-cluster",
            "name": "my-hadoop-cluster",
            "status": {
                "code": null,
                "creationDateTime": "2014-10-29T08:05:21Z",
                "endDateTime": null,
                "message": null,
                "readyDateTime": "2014-10-29T08:08:09Z",
                "state": "Running"
            }
        }
    ],
    "isTruncated": false,
    "marker": "9e0c8cf1-690c-444a-8727-04241f3beaa5"
}

查询集群信息

接口描述

查询一个指定集群的信息。

权限说明

请求发起人需要具有合法的AccessKeyID和SecretAccessKey才能发起请求,请参考 鉴权认证

注意事项

如果请求中没有用户验证信息(即匿名访问),返回403 Forbidden,错误信息:AccessDenied

请求结构

GET /v{version}/cluster/{clusterId} HTTP/1.1
accept-encoding: gzip, deflate
x-bce-date: {utc-date-string}
host: bmr.bj.baidubce.com
connection: keep-alive
accept: */*
content-type: application/json
authorization: {bce-authorization-string}

请求头域

除公共头域外,无其它特殊头域。

请求参数

参数名 参数类型 是否必须 参数位置 参数描述
version String URL参数 API版本号,当前取值1
clusterId String URL参数 待查询的集群ID

响应头域

除公共头域外,无其它特殊头域。

响应参数

参数名 参数类型 参数描述
applications List\<Application> 需要安装的组件信息(如hive,pig,hbase)
autoTerminate Boolean 运行完所有作业后是否自动释放集群
id String 集群ID,是一个定长字符串,只包含大小写字母、数字、连字号(-)和下划线(_)
imageType String 镜像类型,参考BMR镜像
imageVersion String 镜像版本,参考BMR镜像
logUri String 用于上传运行日志的BOS路径
name String 集群名称
status ClusterStatus 集群状态信息

请求示例

GET /v1/cluster/d647cda9-b308-47e4-a2ab-0a4908e17643 HTTP/1.1
accept-encoding: gzip, deflate
x-bce-date: 2015-03-24T13:02:00Z
host: bmr.bj.baidubce.com
connection: keep-alive
accept: */*
content-type: application/json
authorization: bce-auth-v1/46bd9968a6194b4bbdf0341f2286ccce/2015-03-24T13:02:00Z/1800/host;x-bce-date/994014d96b0eb26578e039fa053a4f9003425da4bfedf33f4790882fb4c54903

响应示例

HTTP/1.1 200 OK
Transfer-Encoding: chunked
x-bce-request-id: 73c4e74c-3101-4a00-bf44-fe246959c05e
Cache-Control: no-cache
Server: BWS
Date: Tue, 24 Mar 2015 13:02:01 GMT
Content-Type: application/json;charset=UTF-8

{
    "applications": [
        {
            "name": "hive",
            "properties": {
                "metastore": "default"
            },
            "version": "0.13.0"
        }
    ],
    "autoTerminate": false,
    "id": "d647cda9-b308-47e4-a2ab-0a4908e17643",
    "imageType": "hadoop",
    "imageVersion": "0.1.0",
    "logUri": "bos://mybucket/log",
    "name": "my-cluster",
    "status": {
        "code": null,
        "creationDateTime": "2014-08-06T02:18:49Z",
        "endDateTime": null,
        "message": null,
        "readyDateTime": "2014-08-06T02:20:14Z",
        "state": "Running"
    }
}

释放集群

接口描述

释放集群,仅限单个集群释放。

权限说明

请求发起人需要具有合法的AccessKeyID和SecretAccessKey才能发起请求,请参考 鉴权认证

注意事项

如果请求中没有用户验证信息(即匿名访问),返回403 Forbidden,错误信息:AccessDenied

请求结构

DELETE /v{version}/cluster/{clusterId} HTTP/1.1
accept-encoding: gzip, deflate
x-bce-date: {utc-date-string}
host: bmr.bj.baidubce.com
connection: keep-alive
accept: */*
content-type: application/json
authorization: {bce-authorization-string}

请求头域

除公共头域外,无其它特殊头域。

请求参数

参数名 参数类型 是否必须 参数位置 参数描述
version String URL参数 API版本号,当前取值1
clusterId String URL参数 待释放的集群ID

响应头域

除公共头域外,无其它特殊头域。

响应参数

无参数

请求示例

DELETE /v1/cluster/0ce4f730-4af2-4f37-8fa2-b14f2f44e50e HTTP/1.1
accept-encoding: gzip, deflate
x-bce-date: 2015-03-24T13:02:00Z
host: bmr.bj.baidubce.com
connection: keep-alive
accept: */*
content-type: application/json
authorization: bce-auth-v1/46bd9968a6194b4bbdf0341f2286ccce/2015-03-24T13:02:00Z/1800/host;x-bce-date/994014d96b0eb26578e039fa053a4f9003425da4bfedf33f4790882fb4c54903

响应示例

HTTP/1.1 204 NO_CONTENT
Transfer-Encoding: chunked
x-bce-request-id: 73c4e74c-3101-4a00-bf44-fe246959c05e
Cache-Control: no-cache
Server: BWS
Date: Tue, 24 Mar 2015 13:02:01 GMT
Content-Type: application/json;charset=UTF-8