存储路径申请 存储路径是指,数据湖指定的存储路径,用于数据表数据存储 通过“存储路径申请”功能,普通用户可以申请访问和操作特定存储路径的权限,确保数据安全并防止未经授权的访问。授权时长可根据需要灵活设置,以满足不同场景的需求。 存储路径申请 单击权限申请按钮,弹出批量申请弹窗,用户可选择特定的存储路径并为其申请读取、写入、创建和管理权限。
tring module 类型, 例如 master、worker、driver等 日志下载 result 字段名 类型 说明 downloadId String 下载任务ID 获取下载链接 Task 字段名 类型 说明 limit int 下载日志条数限制 order String 数据返回排序方式
为了满足性能优化和在线存储空间的需求,我们经常需要对符合一定条件的数据进行 归档 管理,同时对已经归档的数据进行清理。 DBSC 的数据归档功能支持一次性或周期性的归档和清理功能,让您的业务库永远保持高性能稳定运行。 前提条件 实例已开启开启企业版。 需要归档的表中必须有时间字段。 目标数据库类型为 MySQL、PostgreSQL。 提交数据归档或归档+清理任务 登录 DBSC 控制台 。
概述 概述 DataBuilder 支持离线作业开发模式,主要面向离线数据处理场景,同时提供了可视化作业开发、脚本作业开发、作业组开发三种开发方式,满足不同客户开发需求。 进入项目 在【我的项目】中的项目列表点击具体某个项目,进入项目内部。 离线开发 项目内,选择【离线开发】,进入离线作业的开发和编排界面。离线开发分为三类: 可视化作业开发、脚本作业开发、作业组开发。
其他字段参数 如果所选规则需要关联其他数据源,则选择其他字段参数。系统内置规则模板中一致性校验需要选择参考数据源。自定义规则根据实际逻辑选择对应数据源。 数据过滤 仅规则模板的可用对象为数据表时需配置,可选择打开或关闭数据过滤,打开时可以设置校验表的过滤条件,可以配置分区过滤或普通数据过滤,过滤条件会直接追加到校验SQL中。
参数: 标准键:JAVA_HOME,填写value值 标准键:python2,填写 python 2.x bin执行文件路径 标准键:python3,填写 python 3.x bin执行文件路径 资源组 EDAP支持Serverless资源组, 用于数据开发、数据湖分析、数据服务。
除了Values之外,其他数据格式都不允许将值设置为诸如等表达式 now() 。Values 1 + 2 格式允许有限地使用表达式,但不建议这样做,因为在这种情况下,执行表达式的代码效率低下。 不支持修改数据部分的其他查询: UPDATE , DELETE , REPLACE , MERGE , UPSERT 。
数据源 根据数据源类型展示不同的数据源,单击下拉选择。 数据源类型 单击下拉框选择不同的数据源类型。
由于百度智能云Elasticsearch集群本身的特性、数据节点的特性、网络传输的不确定性,数据迁移过程可能会受到集群健康状态、节点存储情况等多方面因素影响。迁移不成功(集群健康状态不佳、迁移过程中断或出现类似后果的情形)可能会导致源数据和目标数据丢失,或迁移成功但迁移前后数据不一致。
数据输入bos目录,BOS服务说明请参考 BOS介绍 ,说明: (1)建议bos目录下不要嵌套目录 (2)数据尽可能均分到目录下的每个文件,单个任务文件数量100(含子目录) (3)全部文件累计大小不超过300MB (4)文件格式要求,示例请参考本文文件源数据格式说明: 文件内容必须符合JsonLine格式要求,⽂件内 id唯⼀,query为请求数据 文件格式不强制要求是.jsonl,可以是.txt