百度Elasticsearch检索分析服务

BmrClient 配置BmrClient BmrClient是BMR服务的Python客户端，为调用者与BMR服务进行交互提供一系列的方法。 在新建BmrClient之前，需要先创建配置文件对BmrClient进行配置，以下将此配置文件命名为 bmr_client_conf.py ，具体配置信息如下所示： #!/usr/bin/env python #coding=utf-8 #导入Python

查看更多>>

诊断、调优 注：自2024年6月30日起，MapReduce暂不提供作业相关功能支持，可通过第三方平台EasyDAP或开源组件Airflow提交任务。 目的 诊断运行失败的作业，在日志中定位失败的原因，精确定位到您的程序中错误的位置。 调优运行成功的作业，基于经验评价作业的配置和参数的合理性，给予您调优的建议。 适用范围 诊断或调优Hadoop MR作业，Hadoop Streaming作业，Sp

查看更多>>

错误码 错误码格式 当用户访问API出现错误时，会返回给用户相应的错误码和错误信息，便于定位问题，并做出适当的处理。请求发生错误时通过Response Body返回详细错误信息，遵循如下格式： 参数名 类型 说明 code String 表示具体错误类型。 message String 有关该错误的详细说明。 requestId String 导致该错误的requestId。 例如： { &quo

查看更多>>

弹性伸缩 大数据处理及分析场景下，常常需要根据业务情况的变化动态调整集群的task节点数量，这样可以在保证作业顺利完成的同时，降低您的成本。弹性伸缩功能支持按时间规则或者按指标规则进行集群task节点规模的调整。适用于以下场景： 业务规模具有时间周期规律，存在明显的波峰与波谷，例如特定时间的日报表、周报表等处理分析场景 业务变化不具有时间规律，但需要保证重要作业的及时运行，需要根据集群负载指标动态

查看更多>>

导入数据 Sqoop导入数据 在使用BMR添加作业之前，用户需要将被分析的数据上传到BOS中，具体操作请参考 BOS上传Object 。 您可通过Sqoop把关系型数据库RDS中的数据导入到BOS、HDFS、HBase或Hive中。具体操作如下： 从RDS关系型数据库导入数据至BOS中 通过SSH连接到主节点，请参考 SSH连接到集群 。 输入命令：su hdfs。切换到HDFS用户。 执行以下格

查看更多>>

Step（作业） 添加steps 作业是和集群相关联的资源，对作业的操作需要指定集群ID。 BMR支持多种类型的作业，不同类型的作业有不同的配置项。如下代码可向指定的hadoop类型的集群添加Custom Jar、Streaming、Hive、Pig作业。请注意：参考下面样例代码时，需要修改作业参数指定的BOS路径为您的账户可用的BOS路径。 steps = [ BmrClient . step

查看更多>>

服务域名 区域 服务端点Endpoint 协议 北京 bmr.bj.baidubce.com HTTP and HTTPS 广州 bmr.gz.baidubce.com HTTP and HTTPS 苏州 bmr.su.baidubce.com HTTP and HTTPS 上海 bmr.fsh.baidubce.com HTTP and HTTPS 度小满 bmr.hb-fsg.baidubce

查看更多>>

我们以常见的用户访问日志分析场景作为示例，离线处理架构图如下图所示： 首先，用户访问日志保存在WEB服务器的文件系统，通过在BLS服务创建传输任务，把相关服务器上的日志收集到BOS进行存储；然后使用BMR集群运行Hive作业对日志数据进行清洗和处理，输出的目标数据仍保存在BOS；最后，把目标数据从BOS导入到OLAP引擎Palo中，即可进行多维分析。

查看更多>>