数据管理功能简介 在 BML 中,基于 EasyData 提供了丰富的数据管理能力,满足了不同类型数据在不同训练场景下的管理需求: 数据类型 场景 数据纳管 多人标注 智能标注 图像 图像分类(单标签、多标签)、物体检测、实例分割 支持 支持 部分支持 文本 文本分类(单标签、多标签)、短文本相似度、情感倾向分析、文本实体抽取 支持 支持 部分支持 表格 表格预测 支持 - - 数据在线标注功能简介
是 API版本号 1 URL参数 dtsCheckId String 是 数据校验任务ID dtscxxxyyy URL参数 响应头参数 除公共头域,无其它特殊头域。
核心概念 核心概念 在您使用数据流转平台前,请先阅读并了解如下关键词的概念: 迁移任务 :用户发起的由一个源端到一个目的端的数据迁移任务; 迁移文件 :迁移任务中发起迁移操作的文件; 迁移进程 :一个迁移任务的迁移过程,过程中可以查看文件的迁移进度,如 共需迁移 xx 个文件,已成功迁移 xx 个,失败 xx 个,待迁移文件 xx 个; 迁移任务配置 :对迁移任务进行配置,包括配置源端和目的端的 AS
数据标注 通过平台导入「无标注信息」的数据集后,可对无标注数据进行标注操作。 1. 选取评价片段 2. 选取评价对象(必填) 画选评价片段后,会出现弹窗如下,请激活图中按钮划选评价对象或手动输入评价对象。 3.自动预标注 自动预标注可在您输入评价对象之后,自动为您标注该评价片段中针对该评价对象的评价维度、评价观点,以及标注情感倾向。
添加成功后数据目的地会在自定义数据目的地列表中显示。 连接测试 自定义数据目的地添加成功后,可以在数据目的地列表中使用「连接测试」功能,检查目的地产品当前是否处于可用状态。 连接测试返回失败结果时,规则向该目的地写入数据同样会失败,请检查目的地配置是否正确。 删除数据目的地 注意: 删除时请确保该目的地未被规则设置为数据目的地或在规则中删除该目的地,目的地删除后对应的规则将无法再其写入数据。
月光宝盒由 BOS 为您提供移动存储设备,该设备具有大容量、可视化操作、军工级别防护加密等特性。单台月光宝盒设备的标定容量为 96 TB,实际使用容量为 83 TB 左右/每台,适用于百 TB 级别的本地 IDC 数据迁移上云场景。
短文本匹配数据标注 短文本匹配数据标注 打开短文本匹配数据集的标注页面,您可以看到全部未标注的数据 在页面右侧选择两个文本是相似还是不相似,便可完成标注
数据增强算子参考 适用于图像分类的数据增强算子 算子名 功能 ShearX 剪切图像的水平边 ShearY 剪切图像的垂直边 TranslateX 按指定距离(像素点个数)水平移动图像 TranslateY 按指定距离(像素点个数)垂直移动图像 Rotate 按指定角度旋转图像 AutoContrast 自动优化图像对比度 Contrast 调整图像对比度 Invert 将图像转换为反色图像 Equalize
当迁移的小文件较多时,可以适当调大从agent(worker)配置文件中的rpcRequestMaxTasks、maxConcurrency参数;当迁移的大文件较多时,可以根据节点迁移带宽与机器内存,调整MaxBandWidth参数。
具体的规格信息如下: 规格 内置容量 应对场景 Mini 迷你型 56 TB 小规模数据上云 Standard 标准型 96 TB 百 TB 级别数据上云 Large 大容量型 144 TB 百 TB-PB 级别数据上云 注意事项 事项1 :月光宝盒目前可以 免费使用 ,无租金/押金/使用费等费用,但 往返物流费用均需客户承担 ,百度智能云不承担物流费用; 事项2 :物流请使用顺丰,并且每台宝盒需要保价