架构 产品架构将介绍DMI的技术及产品服务,帮助用户理解DMI从数据-指标-监测-行业应用的全流程对应关系。 产品架构包括基础数据、基于城市理解的计算引擎、面向业务需求的行业模型和面向不同行业的商业产品平台四个部分。 基础数据 包括定位数据、POI数据、画像数据、交通数据、检索数据等各类城市相关时空数据。
参数名称 参数类型 是否必须 描述 示例值 incrIgnoreType String 否 特殊DDL过滤 drop,truncate useAssocDtsTaskConn String 是 指定是否使用关联迁移任务的连接配置信息,可选值:true/false true checkParallel Int 否 并发度,可同时开启的线程数 1~32 recheckTimes Int 否 数据不一致时重复校验次数
但如果我们放眼去观察一下所有 AI 相关的流程,包括数据集管理、 项目管理 、预处理这些,会发现除了训练和预测,其它的流程对高性能并没有一个很强的诉求,它们的需求归纳下来是一个高吞吐、可共享、大容量、高可靠的存储系统。 在考虑到企业中存在其它各种业务,这些业务可能是 AI 的数据集来源,也可能是 AI 的使用方,这个存储系统需要能够方便地和这些业务进行数据交流。
数据血缘 数据血缘,即对Sugar BI中各资源涉及的数据流经路径进⾏跟踪,类似于追踪数据的「⾎缘关系」。 其可针对数据向下做影响分析或向上做溯源分析,有助于⽤户管理资源和排查问题。具体为s: 影响分析:了解资源(如数据源 / 数据表 / API / 数据模型 / SQL 模型等)被下游的使⽤情况,便于在更改资源时评估影响。
数据标注 通过平台导入「无标注信息」的数据集后,可对无标注数据进行标注操作。 1. 选取评价片段 2. 选取评价对象(必填) 画选评价片段后,会出现弹窗如下,请激活图中按钮划选评价对象或手动输入评价对象。 3.自动预标注 自动预标注可在您输入评价对象之后,自动为您标注该评价片段中针对该评价对象的评价维度、评价观点,以及标注情感倾向。
在左侧导航栏,点击 数据开发—>数据归档与清理 。 在 数据归档与清理 页面,单击页面中的 创建归档与清理 。 在 创建归档与清理 页面,按照下表进行配置。 参数 说明 任务名称 输入数据归档任务的名称,为了方便后续查找和管理,请尽量使用有意义的名称。最多支持 64 个字符。 备注 (可选) 输入备注信息,例如针对该数据归档任务的用途描述。
只读访问千帆大模型平台数据管理(除数据标注外)的权限:QianfanDataReadAccessPolicy 鉴权说明 调用本文API,使用“基于安全认证AK/SK”进行签名计算鉴权,即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权,具体鉴权认证机制参考 HTTP调用鉴权说明 。
为了方便后续查找和管理,请尽量使用有意义的名称。最多支持 64 个字符。 数据源 选择数据源。 说明 :如果您没有该数据源的权限,请先进行权限申请。更多信息,请参见 权限申请与审批 。 库 选择库名。 说明 :如果您没有该库的权限,请先进行权限申请。更多信息,请参见 权限申请与审批 。 表 选择表名,支持多选。
响应体参数 响应体字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 result Result 是 返回结果 result Result字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 dtsCheckTasks DtsCheckTasks[] 是 数据校验任务ID数组 dtsCheckTasks DtsCheckTasks字段数据结构说明 参数名称 参数类型 是否必须 描述
需具有以下任一权限: 完全控制千帆大模型平台的权限:QianfanFullControlAccessPolicy 完全控制千帆大模型平台数据管理(除数据标注外)的权限:QianfanDataFullControlAccessPolicy 鉴权说明 调用本文API,使用“基于安全认证AK/SK”进行签名计算鉴权,即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权