API简介

概述

百度MapReduce(BMR)是全托管的Hadoop/Spark集群,您可以按需部署并弹性扩展集群,只需专注于大数据处理、分析、报告,拥有多年大规模分布式计算技术积累的百度运维团队全权负责集群运维。

百度MapReduce支持完整的Hadoop生态:

Hadoop:提供可靠存储HDFS以及MapReduce编程范式以便大规模并行处理数据。
Spark:提供基于分布式内存的大规模并行处理框架,从而大大提高大数据分析性能。Spark提供了SQL查询接口、流数据处理以及机器学习。
HBase:大规模分布式NoSQL数据库,提供随机存取大量的非结构化和半结构化的海量数据。

与自己搭建Hadoop集群相比,百度MapReduce有以下优势:

方便:几分钟便可创建集群,无需为节点分配、部署、优化投入时间。
弹性:创建任意大小的集群并动态调整集群规模,高峰期加大集群规模以提高计算能力,低峰期可对应缩减集群规模降低花费。
开放:完全兼容开源Hadoop/Spark社区,零成本业务迁移。
实惠:支持按需付费以及包年包月,计价简单而透明。
安全:专属私有网络,独占系统环境,确保数据安全。

百度MapReduce组件

ProductDescription-1.png

接口概览

本节汇总了BMR集群可调用 API,具体接口信息请点击链接查看详细内容。

接口 描述
集群操作接口 集群列表查询、集群信息查询、创建集群、释放集群。
实例组操作接口 查询实例组列表、修改实例组配置
实例操作接口 查询实例列表
作业操作接口 添加作业、查询作业列表、查询作业信息

产品限制

系统限制

  • 活跃集群总数的限制
    同时活跃的集群总数不得超过5个。
  • 单集群作业总数的限制
    单一集群中提交的作业总数不得超过256个。
  • 单集群节点个数的限制
    默认情况下,集群中Master节点实例组的实例个数应为1个,HA模式下为2个;Core实例组的实例个数不得小于2个且不得大于20个。