InstanceGroup(实例组) 查询实例组列表 如下代码可根据集群ID获取其实例组信息: try : response = bmr_client . list_instance_groups ( cluster_id ) for instance_group in response . instance_groups : LOG . debug ( 'list instance groups
应用程序参数:输入 -D mapreduce.job.maps=6 -D mapreduce.job.reduces=2 AccessTable bos://${USER_BUCKET}/pv 。
不必开发专门的MapReduce应用便可通过类SQL语句快速实现简单的MapReduce统计,同时也允许熟悉MapReduce的开发者开发自定义的Mapper和Reducer来处理复杂的分析工作。 Hive的数据单元: Databases:数据库。 Tables:表。 Partitions:分区。只支持固定分区,将同一组数据存放至一个固定的分区中。 Buckets(or Clusters):分桶。
运行Pig作业 在“产品服务>MapReduce>MapReduce-作业列表”页中,点击“创建作业”,进入创建作业页。 配置Pig作业参数,具体如下: 作业类型:选择“Pig作业”。 作业名称:输入作业名称,长度不可超过255个字符。 bos脚本地址:可输入样例程序路径 bos://bmr-public-data/apps/pig/AccessLogAnalyzer.pig 。
MapReduce支持完整的Hadoop生态: Hadoop:提供可靠存储HDFS以及MapReduce编程范式以便大规模并行处理数据。 Spark:提供基于分布式内存的大规模并行处理框架,从而大大提高大数据分析性能。Spark提供了SQL查询接口、流数据处理以及机器学习。 HBase:大规模分布式NoSQL数据库,提供随机存取大量的非结构化和半结构化的海量数据。
Kudu围绕着Hadoop生态圈设计, 支持多种存取方式如Apache Impala, Apache Spark和MapReduce。 此外,Kudu还有更多优化的特点: OLAP 工作的快速处理。 与 MapReduce,Spark 和其他 Hadoop 生态系统组件集成。
登录Hue Web界面 登录控制台,选择“产品服务->MapReduce BMR”,点击已创建的集群,进入该集群详情页。 在“相关应用”栏中点击“Hue Web UI”。 在弹出的认证页面中输入创建集群时设置的用户名和密码,并点击“登录”。 创建您登录Hue服务的用户名和密码,输入后点击“Create Account”后进入Hue Web界面。
Spark的先进的DAG执行引擎支持周期性数据流和内存计算,在内存中的运算速度是MapReduce的100倍以上,在硬盘中的运算速度是MapReduce的10倍以上。
例如,hadoop类型集群必选服务为:hdfs、yarn、mapreduce、zookeeper、ldap 可选服务 指依据不同集群类型,用户可自定义选择的服务。例如,hbase类型集群可选服务为:yarn、mapreduce、ranger 安全模式 开启后,集群中的组件以Kerberos安全模式启动,支持统一的 集群安全管理方案 日志 自动收集应用运行日志,支持检索和问题定位。
例如,hadoop类型集群必选服务为:hdfs、yarn、mapreduce、zookeeper、ldap 可选服务 指依据不同集群类型,用户可自定义选择的服务。例如,hbase类型集群可选服务为:yarn、mapreduce、ranger 安全模式 开启后,集群中的组件以Kerberos安全模式启动,支持统一的 集群安全管理方案 日志 自动收集应用运行日志,支持检索和问题定位。