MapReduce支持完整的Hadoop生态: Hadoop:提供可靠存储HDFS以及MapReduce编程范式以便大规模并行处理数据。 Spark:提供基于分布式内存的大规模并行处理框架,从而大大提高大数据分析性能。Spark提供了SQL查询接口、流数据处理以及机器学习。 HBase:大规模分布式NoSQL数据库,提供随机存取大量的非结构化和半结构化的海量数据。
Kudu围绕着Hadoop生态圈设计, 支持多种存取方式如Apache Impala, Apache Spark和MapReduce。 此外,Kudu还有更多优化的特点: OLAP 工作的快速处理。 与 MapReduce,Spark 和其他 Hadoop 生态系统组件集成。
登录Hue Web界面 登录控制台,选择“产品服务->MapReduce BMR”,点击已创建的集群,进入该集群详情页。 在“相关应用”栏中点击“Hue Web UI”。 在弹出的认证页面中输入创建集群时设置的用户名和密码,并点击“登录”。 创建您登录Hue服务的用户名和密码,输入后点击“Create Account”后进入Hue Web界面。
Spark的先进的DAG执行引擎支持周期性数据流和内存计算,在内存中的运算速度是MapReduce的100倍以上,在硬盘中的运算速度是MapReduce的10倍以上。
例如,hadoop类型集群必选服务为:hdfs、yarn、mapreduce、zookeeper、ldap 可选服务 指依据不同集群类型,用户可自定义选择的服务。例如,hbase类型集群可选服务为:yarn、mapreduce、ranger 安全模式 开启后,集群中的组件以Kerberos安全模式启动,支持统一的 集群安全管理方案 日志 自动收集应用运行日志,支持检索和问题定位。
例如,hadoop类型集群必选服务为:hdfs、yarn、mapreduce、zookeeper、ldap 可选服务 指依据不同集群类型,用户可自定义选择的服务。例如,hbase类型集群可选服务为:yarn、mapreduce、ranger 安全模式 开启后,集群中的组件以Kerberos安全模式启动,支持统一的 集群安全管理方案 日志 自动收集应用运行日志,支持检索和问题定位。
可在“产品服务>MapReduce>MapReduce-定时任务”页中查看已创建的任务。 点击已创建定时任务对应的“查看执行历史”可查看任务执行记录。 (可选)点击“停止”,可暂停该任务,点击“开启”,可重新启动该任务。 修改定时任务 对已创建的定时任务,您可修改时间策略和作业。
运行作业 在“产品服务>MapReduce>MapReduce-作业列表”页中,点击“创建作业”,进入创建作业页。
API简介 概述 MapReduce(BMR)是全托管的Hadoop/Spark集群,您可以按需部署并弹性扩展集群,只需专注于大数据处理、分析、报告,拥有多年大规模分布式计算技术积累的百度运维团队全权负责集群运维。 MapReduce支持完整的Hadoop生态: Hadoop:提供可靠存储HDFS以及MapReduce编程范式以便大规模并行处理数据。
续费说明 续费方式 MapReduce目前支持自动续费和手动续费。使用预付费方式购买的包年包月集群,在集群状态为“运行中”或“已停服”时可续费。 表一 续费说明 续费类型 续费说明 自动续费 在 产品服务>MapReduce>集群列表 页,单击 自动续费 按钮进入续费管理。 手动续费 1.在 产品服务>MapReduce>集群列表 页,单击需续费集群对应的 续费 按钮,进入该集群的续费页。