Kudu围绕着Hadoop生态圈设计, 支持多种存取方式如Apache Impala, Apache Spark和MapReduce。 此外,Kudu还有更多优化的特点: OLAP 工作的快速处理。 与 MapReduce,Spark 和其他 Hadoop 生态系统组件集成。
BMR 1.X系列版本信息 组件名称 BMR 1.2.0 BMR 1.4.0 BMR 1.5.0 BMR 1.6.0 备注 Hadoop 2.7.1 2.7.1 2.7.7 2.8.5 必选 Zookeeper 3.4.6 3.4.6 3.4.6 3.4.6 必选 Hadoop-Manager 1.0.0 1.0.0 1.0.0 1.0.0 必选 LDAP - - - 2.4.48 必选 Spark
hbase 1.1.2 ranger 0.5.0 BMR 2.0.0 hadoop 3.1 hive 3.1.0 spark 2.3.2 pig 0.17.0 hue 4.4.0 presto 0.219 hbase 2.0.2 azkaban 3.58.0 zeppelin 0.8.0 flink 1.8.2 druid 0.12.1 impala 3.2.0 BMR 2.1.0 hadoop
org.apache.flink.streaming.api.scala.
steps = [ BmrClient . step ( 'Java' , 'Continue' , BmrClient . java_step_properties ( 'bos://benchmark/hadoop/hadoop-mapreduce-examples.jar' , 'org.apache.hadoop.examples.WordCount' , 'bos://helloworld
BceServerException 服务器异常 获取事件异常 用户可以使用try获取某个事件所产生的异常,例如: try { CreateClusterResponse response = bmrClient . createCluster ( new CreateClusterRequest ( ) . withName ( java-sdk-test ) . withImageType ( hadoop
表一 调度类型说明 调度类型 类型说明 Capacity Schedule 多个组织共享一个Hadoop集群,每个组织可以分配到全部集群资源的一部分。每个组织被配置一个专门的队列,每个队列被配置为可以使用一定的集群资源。队列可以进一步按层次划分,这样每个组织内的不同用户能够共享该组织队列所分配的资源。在一个队列内,使用FIFO调度策略对应用进行调整。
组件联合使用,如Hadoop、Hive、Spark等。
hadoop-mapreduce-examples.jar") .withMainClass("org.apache.hadoop.examples.WordCount") .withArguments("bos://path/to/input bos://path/to/java_output") ); // Streaming作业 steps.add
登录控制台( 百度智能云登录平台 ),选择“产品服务->MapReduce BMR”,点击“创建集群”,进入集群创建页,并做如下配置: 设置集群名称 设置管理员密码 关闭日志开关(如果打开,需要选择存放日志用的bos目录,bos目录的bucket必须已经存在 选择镜像版本“BMR 2.0(hadoop 3.1)“ (只有BMR2.0 及以上版本的zeppelin方可用) 选择内置模板“zeppelin