选择侧边导航或者快速访问中 数据加工>开发(顶部导航)>实时开发(侧边导航)>Spark作业 后进入作业组。 新建文件夹。单击新建按钮选择 新建文件夹 ,填写相关配置项即可新建成功。 新建作业。单击新建按钮选择 新建作业 ,文件夹支持自行选择存放,填写完毕点击确定新建成功。新建Scala作业,呈现Scala代码编写面板,支持进行Scala代码的编写。新建Spark自定义作业需要对作业进行配置。
列表支持通过状态(运行中或不可用)进行筛选。 列表操作: 打开:单击打开按钮,进入工作空间内。在工作空间内可以进行工作区的创建、元数据的创建等。 详情:单击详情按钮,可查看工作空间的详细信息,包括空间名称、存储路径等。 删除:单击删除按钮,删除工作空间。注意:工作空间删除后无法恢复,请您谨慎操作。
点击项目列表中的【删除】,可以对项目进行删除操作,删除操作需要谨慎操作,目前不支持已删除项目的恢复。 当点击项目名称时,进入项目的开发界面。在项目的开发界面中,用户可以进行,批量作业、实时作业、数据分析等操作。具体操作方式,参考【批量作业开发】、【实时作业开发】、【数据分析】等模块。
短文本匹配数据标注 短文本匹配数据标注 打开短文本匹配数据集的标注页面,您可以看到全部未标注的数据 在页面右侧选择两个文本是相似还是不相似,便可完成标注
数据增强算子参考 适用于图像分类的数据增强算子 算子名 功能 ShearX 剪切图像的水平边 ShearY 剪切图像的垂直边 TranslateX 按指定距离(像素点个数)水平移动图像 TranslateY 按指定距离(像素点个数)垂直移动图像 Rotate 按指定角度旋转图像 AutoContrast 自动优化图像对比度 Contrast 调整图像对比度 Invert 将图像转换为反色图像 Equalize
下图可见源连接权限位于数据权限页面中: 通过点击左上角授权即可出现授权弹窗,可见可对于不同的用户和用户组进行权限列所列举的权限项进行永久和自定义时间授权。 权限项 说明 查看 被授权用户具有查看源连接信息的权限,即可在源连接管理中可以看到本条目 访问 被授权用户具有连接访问本源连接所指向的数据源的能力 管理 被授权用户可以编辑,删除该条目数据源以及给其他用户进行授权
导入模式 ( 导入类型 为 CSV 或 EXCEL 时可选): Insert (默认):将数据插入到表中,如果表中已存在相同的行,则会插入失败并提示错误信息。 Insert Ignore :将数据插入到表中,如果表中已存在相同的行,则插入操作将跳过该行,而不进行任何更改。 Replace Into :将数据插入到表中,如果表中已存在相同的行,则会直接进行覆盖。
时间筛选默认:近7天、近1月、近3月 数据存储格式分布统计 元数据管理中的表存储格式占比。支持根据数据库进行筛选,默认全部库。具体类型有Iceberg、PARQUET、ORC、Hudi、TEXTFILE、Delta Lake 大小文件分布 当前目录下文件总数、以及文件分布。小文件:小于等于1MB中文件:小于等于128MB大文件:大于128MB
查询账号列表(放弃版) 说明 只能查看指定实例的账号列表 请求结构 Plain Text 复制 1 GET /v{version}/instance/{instanceId}/account HTTP/1.1 2 HOST: rds.bj.baidubce.com 3 Authorization: authorization string 请求头域 除公共头域外,无其它特殊头域。
自建MySQL创建账号并设置binlog 操作场景 当数据迁移任务的源端为自建 MySQL 时,为满足校验项阶段对源库的要求,保障任务的顺利执行,在正式配置任务之前,需要您在自建 MySQL 数据库上创建账号并设置 Binlog。