删除元数据同步规则 概述 对于不再使用的元数据同步规则,可发起删除。 注意事项 单次同步规则删除后,此规则下正在执行的元数据同步任务将被取消 周期同步规则删除后,此规则下正在执行的元数据同步任务将被取消 操作步骤 在 RapidFS 控制台左侧导航栏 数据流转 页面,点击 元数据同步 进入元数据同步规则列表页。 选择指定的元数据同步规则,点击 删除规则 。 确认 删除元数据同步规则。
质量规则 数据质量功能支持按数据表配置质量监控规则,可实时核查表数据合规性,自动拦截异常任务、阻断脏数据向下游流转,确保产出数据符合预期标准,整体流程如下图。 添加监控对象 登陆百度智能云控制台,选择产品百度千帆·数据智能平台 DataBuilder, 在 DataBuilder 首页侧边导航选择 数据质量>质量规则。
DTS支持全量数据迁移和增量数据迁移,可实现不停服迁移,降低对业务的影响。
借助BOS进行数据迁移 适用场景 无法在百度云与IDC或三方云之间打通网络(如专线等),且需要将本地IDC或三方云的数据上传至CFS中。 操作步骤 第一步:先将本地数据/三方云数据迁移至BOS中,详见: 对象存储BOS数据迁移 第二步:利用BOS工具将数据从BOS迁移至CFS,详见: BOS和CFS之间数据迁移 。
其他 分地区运营商数据均为边缘节点的数据,不包括中间节点的数据。
一致性 遵循统一的数据标准记录和传递数据信息,主要体现在数据记录是否规范、数据是否符合逻辑。 准确性 真实、准确地记录原始数据,无续建数据及信息。数据准确反映其所建模的“真实世界”实体。 唯一性 同一数据只能有唯一的标识符。体现在一个数据集中,一个实体只出现一次,并且每个唯一实体有一个键值 且该键值只指向该实体。 有效性 数据的值、格式和展现形式符合数据定义和业务定义的要求。
数据准备 以准备Web日志数据为例,您可以直接使用百度智能云提供的样例数据,也可根据说明构造自己的输入数据: 使用百度智能云提供的样例数据,路径如下: 存储在“华北-北京”区域的样例数据路径为:bos://datamart-bj/web-log-10k/,仅华北区域的BMR集群可用。
2025-4 支持通过CloudFlow实现文件系统和对象存储之间的数据半托管迁移 2024-5 支持BOS分享文件夹url作为数据源进行数据导入,控制台操作说明详见 百度智能云BOS文件夹分享链接导入文件 2024-5 在线迁移支持 百度网盘企业版aPaas空间 迁移,详情请查看 aPaas空间分享至BOS 2023-2 支持BOS作为数据源进行数据同步,控制台操作说明详见 百度智能云BOS数据复制
湖概览 进入百度千帆数据智能平台 DataBuilder 控制台,单击页面中数据湖模块进入湖概览界面,或者单击侧边导航数据湖>湖管理>湖概览。 湖概览是对数据湖统计的展示,展示存储信息。新增数据在次日统计更新。
挂载ConfigMap数据卷 挂载ConfigMap数据卷 本文介绍如何挂载ConfigMap数据卷。ConfigMap数据卷是一个配置文件,用于向BCI实例注入配置数据,具体详见 create-a-configmap 注意: BCI目前不支持configMap配置文件动态更新,以容器创建时配置为准。