集群操作接口
所有文档

          百度MapReduce BMR

          集群操作接口

          创建集群

          接口描述

          向BMR服务请求创建一个新的集群。

          权限说明

          请求发起人需要具有合法的AccessKeyID和SecretAccessKey才能发起请求,请参考 鉴权认证

          注意事项

          如果请求中没有用户验证信息(即匿名访问),返回403 Forbidden,错误信息:AccessDenied

          请求结构

          POST /v{version}/cluster?clientToken={clientToken} HTTP/1.1
          accept-encoding: gzip, deflate
          x-bce-date: {utc-date-string}
          host: bmr.bj.baidubce.com
          connection: keep-alive
          accept: */*
          content-type: application/json
          authorization: {bce-authorization-string}
          {
              "applications": [
                  {
                      "name": "hive",
                      "properties": {
                          "metastore": "default"
                      },
                      "version": "0.13.0"
                  }
              ],
              "autoTerminate": false,
              "imageType": "hadoop",
              "imageVersion": "1.2.0",
              "instanceGroups": [
                  {
                      "instanceCount": 1,
                      "instanceType": "bmr.g1.xlarge	",
                      "name": "ig-master",
                      "type": "Master"
                  },
                  {
                      "instanceCount": 2,
                      "instanceType": "bmr.g1.xlarge	",
                      "name": "ig-core",
                      "type": "Core"
                  }
              ],
              "logUri": "bos://mybucket/log",
              "name": "my-cluster",
              "steps": [
                  {
                      "actionOnFailure": "Continue",
                      "arguments": "-D mapreduce.job.reduces=20",
                      "name": "my-mapreduce-streaming",
                      "properties": {
                          "mapper": "cat",
                          "reducer": "cat",
                          "input": "bos://mybucket/inputs/txt-1m",
                          "output": "bos://mybucket/outputs/streaming"
                      },
                      "type": "Streaming"
                  }
              ]
          }

          请求头域

          除公共头域外,无其它特殊头域。

          头域 类型 说明 是否必须
          Origin String 请求来源域,用来标识跨域请求,只允许一个方法。类型:字符串。默认值:无。 非必须
          Access-Control-Request-Method String 在实际请求中将会用到的方法,只允许一个方法。类型:字符串。取值为“PUT/GET/DELETE/POST/HEAD”,无默认值。 必须
          Access-Control-Request-Headers String 在实际请求中会用到的除了简单头部之外的Headers,多个headers用逗号分割。类型:字符串。默认值:无。 非必须

          售卖套餐请参考https://cloud.baidu.com/doc/BMR/s/6jwvxw85z

          请求参数

          名称 类型 是否必须 参数位置 参数描述
          version String URL参数 API版本号,当前取值1
          imageType String RequestBody参数 镜像类型,应使用hadoop,参考BMR镜像
          imageVersion String RequestBody参数 镜像版本,应使用1.2.0,参考BMR镜像
          instanceGroups List\<InstanceGroupConfig> RequestBody参数 实例组配置
          clientToken String Query参数 幂等性Token,是一个长度不超过64位的ASCII字符串
          applications List\<ApplicationConfig> RequestBody参数 需要安装的组件信息(如hive,pig,hbase)
          autoTerminate Boolean RequestBody参数 为true则在运行完所有作业后自动释放集群,默认为true
          logUri String RequestBody参数 用于上传运行日志的BOS路径,不提供则不上传日志
          name String RequestBody参数 集群名称,默认为my-cluster
          steps List\<StepConfig> RequestBody参数 需要运行的作业信息,参考添加作业协议
          serviceHaEnabled Boolean RequestBody参数 是否开启高可用
          safeModeEnabled Boolean RequestBody参数 是否开启安全模式

          响应头域

          除公共头域外,无其它特殊头域。

          响应参数

          名称 类型 描述
          clusterId String 系统生成的集群唯一标识

          请求示例

          POST /v1/cluster?clientToken=be31b98c-5e41-4838-9830-9be700de5a20 HTTP/1.1
          accept-encoding: gzip, deflate
          x-bce-date: 2015-03-24T13:02:00Z
          host: bmr.bj.baidubce.com
          connection: keep-alive
          accept: */*
          content-type: application/json
          authorization: bce-auth-v1/46bd9968a6194b4bbdf0341f2286ccce/2015-03-24T13:02:00Z/1800/host;x-bce-date/994014d96b0eb26578e039fa053a4f9003425da4bfedf33f4790882fb4c54903
          
          {
              "applications": [
                  {
                      "name": "hive",
                      "properties": {
                          "metastore": "default"
                      },
                      "version": "0.13.0"
                  }
              ],
              "autoTerminate": false,
              "imageType": "hadoop",
              "imageVersion": "1.2.0",
              "instanceGroups": [
                  {
                      "instanceCount": 1,
                      "instanceType": "bmr.g1.xlarge",
                      "name": "ig-master",
                      "type": "Master"
                  },
                  {
                      "instanceCount": 2,
                      "instanceType": "bmr.g1.xlarge",
                      "name": "ig-core",
                      "type": "Core"
                  }
              ],
              "logUri": "bos://mybucket/log",
              "name": "my-cluster",
              "steps": [
                  {
                      "actionOnFailure": "Continue",
                      "arguments": "-D mapreduce.job.reduces=20",
                      "name": "my-mapreduce-streaming",
                      "properties": {
                          "mapper": "cat",
                          "reducer": "cat",
                          "input": "bos://mybucket/inputs/txt-1m",
                          "output": "bos://mybucket/outputs/streaming"
                      },
                      "type": "Streaming"
                  }
              ]
          }

          响应示例

          HTTP/1.1 201 CREATED
          Transfer-Encoding: chunked
          x-bce-request-id: 73c4e74c-3101-4a00-bf44-fe246959c05e
          Cache-Control: no-cache
          Server: BWS
          Date: Tue, 24 Mar 2015 13:02:01 GMT
          Content-Type: application/json;charset=UTF-8
          {
              "clusterId": "0181b994-576a-4a00-b04e-f6fa9d5eee48"
          }

          查询集群列表

          接口描述

          查询所有集群的信息,支持分页查询。

          权限说明

          请求发起人需要具有合法的AccessKeyID和SecretAccessKey才能发起请求,请参考 鉴权认证

          注意事项

          如果请求中没有用户验证信息(即匿名访问),返回403 Forbidden,错误信息:AccessDenied

          请求结构

          GET /v{version}/cluster?marker={marker}&maxKeys={maxKeys} HTTP/1.1
          accept-encoding: gzip, deflate
          x-bce-date: {utc-date-string}
          host: bmr.bj.baidubce.com
          connection: keep-alive
          accept: */*
          content-type: application/json
          authorization: {bce-authorization-string}

          请求头域

          除公共头域外,无其它特殊头域。

          请求参数

          参数名 参数类型 是否必须 参数位置 参数描述
          version String URL参数 API版本号,当前取值1
          marker String Query参数 批量获取列表的查询的起始位置,是一个由系统生成的字符串
          maxKeys Int Query参数 每页包含的最大数量,最大数量不能超过1000。大于1000的会被修正为1000。缺省值为1000

          响应头域

          除公共头域外,无其它特殊头域。

          响应参数

          参数名 参数类型 参数描述
          marker String 标记查询的起始位置
          isTruncated Boolean true表示后面还有数据,false表示已经是最后一页
          nextMarker String 获取下一页所需要传递的marker值。当isTruncated为false时,该域不出现
          clusters List\<Cluster> 返回的集群列表

          请求示例

          GET /v1/cluster?marker=9e0c8cf1-690c-444a-8727-04241f3beaa5&maxKeys=30 HTTP/1.1
          accept-encoding: gzip, deflate
          x-bce-date: 2015-03-24T13:02:00Z
          host: bmr.bj.baidubce.com
          connection: keep-alive
          accept: */*
          content-type: application/json
          authorization: bce-auth-v1/46bd9968a6194b4bbdf0341f2286ccce/2015-03-24T13:02:00Z/1800/host;x-bce-date/994014d96b0eb26578e039fa053a4f9003425da4bfedf33f4790882fb4c54903

          响应示例

          HTTP/1.1 200 OK
          Transfer-Encoding: chunked
          x-bce-request-id: 73c4e74c-3101-4a00-bf44-fe246959c05e
          Cache-Control: no-cache
          Server: BWS
          Date: Tue, 24 Mar 2015 13:02:01 GMT
          Content-Type: application/json;charset=UTF-8
          {
              "clusters": [
                  {
                      "applications": [
                          {
                              "name": "hive",
                              "properties": {
                                  "metastore": "default"
                              },
                              "version": "0.13.0"
                          }
                      ],
                      "autoTerminate": false,
                      "id": "d647cda9-b308-47e4-a2ab-0a4908e17643",
                      "imageType": "hadoop",
                      "imageVersion": "1.2.0",
                      "logUri": "bos://mybucket/log/hive-cluster",
                      "name": "my-hive-cluster",
                      "status": {
                          "code": null,
                          "creationDateTime": "2014-11-06T03:11:27Z",
                          "endDateTime": null,
                          "message": null,
                          "readyDateTime": null,
                          "state": "Starting"
                      }
                  },
                  {
                      "applications": [],
                      "autoTerminate": false,
                      "id": "479b9933-0b7a-403f-9553-388db551cbd0",
                      "imageType": "hadoop",
                      "imageVersion": "0.1.0",
                      "logUri": "bos://mybucket/log/hadoop-cluster",
                      "name": "my-hadoop-cluster",
                      "status": {
                          "code": null,
                          "creationDateTime": "2014-10-29T08:05:21Z",
                          "endDateTime": null,
                          "message": null,
                          "readyDateTime": "2014-10-29T08:08:09Z",
                          "state": "Running"
                      }
                  }
              ],
              "isTruncated": false,
              "marker": "9e0c8cf1-690c-444a-8727-04241f3beaa5"
          }

          查询集群信息

          接口描述

          查询一个指定集群的信息。

          权限说明

          请求发起人需要具有合法的AccessKeyID和SecretAccessKey才能发起请求,请参考 鉴权认证

          注意事项

          如果请求中没有用户验证信息(即匿名访问),返回403 Forbidden,错误信息:AccessDenied

          请求结构

          GET /v{version}/cluster/{clusterId} HTTP/1.1
          accept-encoding: gzip, deflate
          x-bce-date: {utc-date-string}
          host: bmr.bj.baidubce.com
          connection: keep-alive
          accept: */*
          content-type: application/json
          authorization: {bce-authorization-string}

          请求头域

          除公共头域外,无其它特殊头域。

          请求参数

          参数名 参数类型 是否必须 参数位置 参数描述
          version String URL参数 API版本号,当前取值1
          clusterId String URL参数 待查询的集群ID

          响应头域

          除公共头域外,无其它特殊头域。

          响应参数

          参数名 参数类型 参数描述
          applications List\<Application> 需要安装的组件信息(如hive,pig,hbase)
          autoTerminate Boolean 运行完所有作业后是否自动释放集群
          id String 集群ID,是一个定长字符串,只包含大小写字母、数字、连字号(-)和下划线(_)
          imageType String 镜像类型,参考BMR镜像
          imageVersion String 镜像版本,参考BMR镜像
          logUri String 用于上传运行日志的BOS路径
          name String 集群名称
          status ClusterStatus 集群状态信息

          请求示例

          GET /v1/cluster/d647cda9-b308-47e4-a2ab-0a4908e17643 HTTP/1.1
          accept-encoding: gzip, deflate
          x-bce-date: 2015-03-24T13:02:00Z
          host: bmr.bj.baidubce.com
          connection: keep-alive
          accept: */*
          content-type: application/json
          authorization: bce-auth-v1/46bd9968a6194b4bbdf0341f2286ccce/2015-03-24T13:02:00Z/1800/host;x-bce-date/994014d96b0eb26578e039fa053a4f9003425da4bfedf33f4790882fb4c54903

          响应示例

          HTTP/1.1 200 OK
          Transfer-Encoding: chunked
          x-bce-request-id: 73c4e74c-3101-4a00-bf44-fe246959c05e
          Cache-Control: no-cache
          Server: BWS
          Date: Tue, 24 Mar 2015 13:02:01 GMT
          Content-Type: application/json;charset=UTF-8
          
          {
              "applications": [
                  {
                      "name": "hive",
                      "properties": {
                          "metastore": "default"
                      },
                      "version": "0.13.0"
                  }
              ],
              "autoTerminate": false,
              "id": "d647cda9-b308-47e4-a2ab-0a4908e17643",
              "imageType": "hadoop",
              "imageVersion": "1.2.0",
              "logUri": "bos://mybucket/log",
              "name": "my-cluster",
              "status": {
                  "code": null,
                  "creationDateTime": "2014-08-06T02:18:49Z",
                  "endDateTime": null,
                  "message": null,
                  "readyDateTime": "2014-08-06T02:20:14Z",
                  "state": "Running"
              }
          }

          释放集群

          接口描述

          释放集群,仅限单个集群释放。

          权限说明

          请求发起人需要具有合法的AccessKeyID和SecretAccessKey才能发起请求,请参考 鉴权认证

          注意事项

          如果请求中没有用户验证信息(即匿名访问),返回403 Forbidden,错误信息:AccessDenied

          请求结构

          DELETE /v{version}/cluster/{clusterId} HTTP/1.1
          accept-encoding: gzip, deflate
          x-bce-date: {utc-date-string}
          host: bmr.bj.baidubce.com
          connection: keep-alive
          accept: */*
          content-type: application/json
          authorization: {bce-authorization-string}

          请求头域

          除公共头域外,无其它特殊头域。

          请求参数

          参数名 参数类型 是否必须 参数位置 参数描述
          version String URL参数 API版本号,当前取值1
          clusterId String URL参数 待释放的集群ID

          响应头域

          除公共头域外,无其它特殊头域。

          响应参数

          无参数

          请求示例

          DELETE /v1/cluster/0ce4f730-4af2-4f37-8fa2-b14f2f44e50e HTTP/1.1
          accept-encoding: gzip, deflate
          x-bce-date: 2015-03-24T13:02:00Z
          host: bmr.bj.baidubce.com
          connection: keep-alive
          accept: */*
          content-type: application/json
          authorization: bce-auth-v1/46bd9968a6194b4bbdf0341f2286ccce/2015-03-24T13:02:00Z/1800/host;x-bce-date/994014d96b0eb26578e039fa053a4f9003425da4bfedf33f4790882fb4c54903

          响应示例

          HTTP/1.1 204 NO_CONTENT
          Transfer-Encoding: chunked
          x-bce-request-id: 73c4e74c-3101-4a00-bf44-fe246959c05e
          Cache-Control: no-cache
          Server: BWS
          Date: Tue, 24 Mar 2015 13:02:01 GMT
          Content-Type: application/json;charset=UTF-8
          上一篇
          错误码
          下一篇
          实例组操作接口