数据准备 以准备Web日志数据为例,您可以直接使用百度智能云提供的样例数据,也可根据说明构造自己的输入数据: 使用百度智能云提供的样例数据,路径如下: 存储在“华北-北京”区域的样例数据路径为:bos://datamart-bj/web-log-10k/,仅华北区域的BMR集群可用。 存储在“华南-广州”区域的样例数据路径为:bos://datamart-gz/web-log-10k/,仅华南区域
产品介绍 BMR产品介绍 介绍BMR的优势及产品特性。
我们以常见的用户访问日志分析场景作为示例,离线处理架构图如下图所示: 首先,用户访问日志保存在WEB服务器的文件系统,通过在BLS服务创建传输任务,把相关服务器上的日志收集到BOS进行存储;然后使用BMR集群运行Hive作业对日志数据进行清洗和处理,输出的目标数据仍保存在BOS;最后,把目标数据从BOS导入到OLAP引擎Palo中,即可进行多维分析。
BAE专业版操作流程 温馨提示:百度应用引擎BAE专业版 将于2022年6月1日起不再进行产品升级,已部署服务仍可正常运行,新用户推荐使用 轻量应用服务器(Lightserver) 或 函数计算(CFC) 。 用户在BAE中通过创建应用、上传版本、启动并管理环境,最终完成应用的部署和更新。具体流程如下图所示:
BAE专业版 BAE专业版 BAE专业版的每个环境均有独立的公网IP地址。创建环境时,BAE将用户的二级域名绑定到独立的IP地址,这就需要为每个独立的对外IP在DNS中添加一条记录。因而,BAE专业版域名存在生效时延,应用发布后一般须等待5-20分钟才能通过域名进行访问。
登录云控制台,鼠标移到右上角头像处,进入 多用户访问控制>策略管理 ; 2. 点击 创建策略 ,弹窗中选择按策略语法创建; 3. 填写基本信息中的策略名称和说明; 4. 填写权限配置: -策略模板:选择已有系统策略模板 -策略内容:输入策略内容后点击完成 资源组 根据你在资源管理创建的资源分组筛选资源,生成策略。 1. 登录云控制台,鼠标移到右上角头像处,进入 多用户访问控制>策略管理 ; 2.
常见问题总览 故障类问题 作业运行失败怎么办? 作业为什么会运行失败? 作业为什么会提交失败? 集群为什么会自动终止? 配置类问题 如何配置集群,使得作业运行完毕后,集群自动终止? BMR无法手动停止 job,必须等待它运行完吗? 集群是否支持外网登录? Core节点与Task节点的使用区别在哪里,如何选择? 计费类问题 BMR如何进行收费? 费用不足,用户该如何充值? 充值时,一次性充多少钱可以
操作流程概览
文档更新记录 2018-01-04 新增Python SDK附加文件作业示例
集群安全模式 BMR从1.0.0版本开始支持创建安全类型的集群,即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端才能访问集群中的服务(如HDFS,HIVE 等)。 创建安全集群 在集群创建页面进行集群配置时打开安全模式按钮即可。 图一 开启集群安全模式 Kerberos身份认证原理 Kerberos是一种基于对称密钥技术的身份认证协议,它作为一个独立的第三方