生成异常数据 如果系统内置规则支持异常数据保存输出,开启生成异常数据会把对应异常数据保存在配置的异常数据输出路径中。 如果没有配置质量异常数据保存路径,请参考 七、配置管理 先配置质量异常数据保存路径,否则会导致任务执行失败。 描述 数据质量作业描述信息。 不大于100个字符。 举例说明 表二 示例说明 示例类型 正则表达式校验 输入值:正则表达式。
举例说明:假设用户密级为L2,待脱敏列email数据密级为L3,分别为该字段添加了两个脱敏规则: 脱敏规则1为遮掩(全部),脱敏后数据密级为L0。 脱敏规则2为遮掩(邮箱前缀),脱敏后数据密级为L1 则该用户可查询数据范围为遮掩(邮箱前缀)。 动态脱敏生效 完成上述配置后,用户在数据查询时,便可按照脱敏规则情况进行数据动态脱敏。
实景图数据要求 简介 训练一个定制商品检测模型需要准备两类数据:SKU单品图片和实景图片。本文档将详细介绍训练一个定制商品检测模型的数据要求,如规格、大小、尺寸等,并提供相应的图片样例。另外,可以参考 实景图标注规范文档 文档内容,了解各个业务场景的实景图片如何正确标注。 点击下载 数据采集与标注规范长图 ,一张图看懂如何采集和标注数据,让您不走弯路,获得一个高精度的商品检测模型。
离线同步 离线同步作为离线数据迁移的主要产品,承担了离线数据上云等数据迁移的重要工作,为整个离线数据开发提供数据,起到了数据准备的作用。目前版本数据集成在数据源端支持 MySQL、SQL Server、Oracle、PostgreSQL、Hana 数据库,在目的端支持 Hive、Doris 以及 DataBuilder 。
表五 表单项说明 名称 描述 使用限制 数据源类型 选择需要查询的数据源类型 必填,目前支持 Doris、MySQL、ClickHouse、GreenPlum 数据源 数据源 选择数据源类型下的需要查询的数据源连接 必填 查询 SQL 用于查询数据源 SQL 语句,其中 SELECT 后字段为返回参数,SQL 语句中由 ${ } 中的字段为请求参数。
响应体参数 响应体字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 success boolean 是 是否成功 true result Result 是 结果 Result字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 checksumResult ChecksumResult 是 校验结果对象 ChecksumResult字段数据结构说明 参数名称 参数类型 是否必须
一致性 遵循统一的数据标准记录和传递数据信息,主要体现在数据记录是否规范、数据是否符合逻辑。 准确性 真实、准确地记录原始数据,无续建数据及信息。数据准确反映其所建模的“真实世界”实体。 唯一性 同一数据只能有唯一的标识符。体现在一个数据集中,一个实体只出现一次,并且每个唯一实体有一个键值 且该键值只指向该实体。 有效性 数据的值、格式和展现形式符合数据定义和业务定义的要求。
要启动创建过程,您需要进入数据集成模块页面。 启动创建过程: 启动方式: 进入数据集成模块页面。 创建实时同步任务入口 数据加工>我的项目中数据集成模块内。 1.如没有项目,需先新建项目。 点击我的项目>【新建项目】,填入您的项目相关属性后点击提交项目即创建成功。
用户可以返回将源端插件拖拽到开发画布中,作为实时数据的源端。 数据处理组件 对上游源端插件的数据进行数据处理,用户可以使用脚本类插件对数据进行处理。 数据处理组件拖拽到开发面板之后,将上游的源端插件连接到数据处理组件中。 数据开发组件 对上游源端插件的数据进行数据开发,用户可以使用SQL抽象插件进行数据处理。 开发分析组件和数据处理组件使用流程相同,在源端插件之后,进行数据处理。
告警规则数和告警状态数量是仅当天的告警数据统计,不包含历史告警数量。 查看业务报告 登录并进入百度智能云千帆数据智能平台 DataBuilder。在左侧导航栏,单击 数据治理>数据质量>质量报告 。 在左侧目录中选中业务报告,从左侧各数据源类型中选择一个,可查看对应主题/源连接或库的评分。 单击主题域评分部分中, 告警状况 列下的蓝字按钮,可跳转至运维管理列表页。