重点区域实时客流接口 接口描述 本接口用于查询重点区域(比如北京北站)的实时定位去重人数。 数据更新频率:每5分钟更新,由于数据处理需要一定的时间,故在极少情况下会出现延迟,延迟时间一般不超过20分钟。 权限说明 所有API的安全认证一律采用API Key(AK)和区域ID(Block ID)。
重点区域实时热力接口 接口描述 本接口能够查询重点区域(比如城市区县或街道)网格实时定位热力,用于制作实时人口热力图。热力网格大概是200m x 200m。 数据更新频率:每10分钟更新。 权限说明 所有API的安全认证一律采用API Key(AK)和区域ID(Block ID)。
成本 更快的查询结构,存储成本高 存储海量数据,采用分布式存储系统 、 对象存储系统 降低存储成本 数据分析应用 多维分析和可视化报表 跨源融合分析、 批&流出数据处理 、机器学习、预测分析、数据发现和分析 核心概念 数据湖:EDAP支持选择EDAPDataLake作为数据湖底座,也支持选择BMR集群的Hive组件,当选择Hive时需要开启数据湖元数据配置。
日志文件大小 设置应用日志文件大小至少为 8192 KB,可根据磁盘空间配置日志文件大小,记录的日志越多越好。并设置当达到最大的日志尺寸时,按需要轮询记录日志。 操作步骤 打开 控制面板 > 管理工具 > 事件查看器 ,配置 应用日志、系统日志、安全日志 属性中的日志大小,以及设置当达到最大的日志尺寸时的相应策略。
分析过程总览 使用BMR分析Niginx日志的过程如下: 环境准备 准备日志文件 您可跳过此步直接使用百度智能云提供的示例日志。在熟悉日志分析后,可参考 数据准备 选择您自己的日志数据。 创建BMR集群 打开“产品服务>MapReduce>MapReduce-集群列表”,点击“创建集群”,进入集群配置页面。 设置集群配置:根据界面提示,完成信息的填写。
配置类问题 认证Token有什么作用? 认证Token用于日志服务对您进行身份验证,请妥善保管 收集器支持哪些平台? 目前日志服务的收集器支持64位的Linux和Windows系统,如您的安装过程出现问题,请提 工单 申请 日志服务划分区域吗?如何选择合适的区域? 日志服务划分不同区域。
配置管理 针对异常数据的存储路径配置和字段质量评分配置。 操作步骤 登录并进入百度智能云数据湖管理与分析EasyDAP。选择侧边导航 数据治理>数据质量>配置管理 。进入配置管理界面 单击 修改 按钮后选择一个存储路径,然后单击保存即修改成功。 字段质量评分配置单击修改按钮修改后单击保存即修改成功。
获取Bucket的访问日志配置 接口说明 本接口用来获取某个Bucket的访问日志配置情况。 注意事项 如果请求的源Bucket不存在,返回404错误,错误码为NoSuchBucket。 请求者只有是源Bucket的owner且拥有FULL_CONTROL权限才允许查看,否则返回403错误,错误码为AccessDenied。 请求URI GET /v1/{bucketName}/?
关闭Bucket的访问日志配置 接口说明 本接口用来关闭Bucket访问日志记录功能。 注意事项 如果请求的源Bucket不存在,返回404错误,错误码为NoSuchBucket。 请求者只有是源Bucket的owner且拥有FULL_CONTROL权限,才能关闭Bucket访问日志记录功能。否则,BOS返回403错误,错误码为AccessDenied。
解决方案实践 > 定时分析日志数据 定时分析日志数据 概览 需求场景 方案概述 设计作业 存储日志 启动定时任务 创建集群模板 创建定时任务 读取分析结果 相关产品 定时分析日志数据 更新时间: 2022-01-10 概览 通过定时任务创建BMR集群,分析日志数据,定时释放集群,为用户大大节约了使用成本。 需求场景 对于业务稳定且有规律的用户,日志的峰值和低谷的规律一般是固定的。