查看结果 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 在“产品服务>MapReduce>MapReduce-作业列表”中,点击作业名称,可查看作业基本信息。 Hadoop将job分成若干个task进行处理,共有两种类型的task,分别为map task和reduce task。点击下拉尖括号,查看各ta
产品功能 便捷易用的集群部署管理: 为用户提供简单快捷的界面化交互方式进行集群部署管理,并提供丰富全面的大数据组件,灵活满足各种使用场景。为用户提供配置多样的高性能节点机器,允许用户按需进行集群的弹性配置,以及根据业务情况进行节点的扩缩容,以最低的成本挖掘最大的数据价值。 作业开发: 简单友好的作业开发方式与丰富全面的作业日志及诊断调优建议,并支持多种类型的作业形式,全方位加速用户作业开发环节。允
应用场景 网站日志处理 网站日志包含着网站最重要的信息,通过日志分析网站,可帮助您获取用户行为以优化网站的商业价值。日益增长的日志信息需大规模处理平台的支撑,MapReduce全托Hadoop服务为高效处理海量网站日志提供了可靠依托,而且开发者在友好的界面中分析海量日志,大大降低了使用门槛。如需快速熟悉具体实现,请至 使用Hive分析网站日志 。 数据仓库建设 数据仓库,是为企业所有级别的决策制定
产品优势 与自建Hadoop集群相比,MapReduce有以下优势: 易用:界面点选的操作方式,多种大数据开源组件自由组合,分钟级完成集群创建操作。 模板丰富:BMR支持多种集群模板,Hadoop、HBase、Hive、ClickHouse,支持多种应用场景。 弹性:创建任意大小的集群并动态调整集群规模,高峰期加大集群规模以提高计算能力,低峰期可对应缩减集群规模降低花费。 便捷管理:独创的Hado
产品介绍 BMR产品介绍 介绍BMR的优势及产品特性。
Cluster(集群) 新建cluster 如下代码可以新建一个集群,集群包含1个master节点和2个core节点,且安装了Hive、Pig、HBase应用。请注意:参考下面样例代码时,需要修改log_uri参数指定BOS路径为您的账户可用的BOS路径。 instance_groups = [ BmrClient.instance_group( 'Master', 'bm
创建作业 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 使用hadoop镜像的集群可添加的作业类型是:java,streaming。使用spark镜像的集群可添加作业类型:spark,java,streaming。集群中添加了应用后便可添加该应用的作业,即创建集群时添加了hive应用,则可创建hive作业
错误码 错误码格式 当用户访问API出现错误时,会返回给用户相应的错误码和错误信息,便于定位问题,并做出适当的处理。请求发生错误时通过Response Body返回详细错误信息,遵循如下格式: 参数名 类型 说明 code String 表示具体错误类型。 message String 有关该错误的详细说明。 requestId String 导致该错误的requestId。 例如: { &quo
Step(作业) 添加steps 作业是和集群相关联的资源,对作业的操作需要指定集群ID。 BMR支持多种类型的作业,不同类型的作业有不同的配置项。如下代码可向指定的hadoop类型的集群添加Custom Jar、Streaming、Hive、Pig作业。请注意:参考下面样例代码时,需要修改作业参数指定的BOS路径为您的账户可用的BOS路径。 steps = [ BmrClient . step
查看作业 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 在“产品服务>MapReduce>MapReduce-作业列表”中,点击作业名称,可查看作业基本信息。 Hadoop将job分成若干个task进行处理,共有两种类型的task,分别为map task和reduce task。点击下拉尖括号,查看各ta