数据去重 - EasyDL零门槛AI开发平台 | 百度智能云文档
此时分为几种情况，如下： 数据集中有未标注样本，上传重复的已标注样本，此时未标注样本将被覆盖 数据集中有已标注样本，上传重复的未标注样本，此时已标注样本将被覆盖 数据集中有已标注样本，上传不同标注的已标注样本，此时已有的标注样本将被覆盖
数据去重 - EasyDL零门槛AI开发平台 | 百度智能云文档
当您创建了一个去重的数据集时，在后续上传数据的过程中，平台可通过检验您当前上传的样本与已上传到此数据集下的样本是否相同，如果相同，则会使用新的样本替代旧的样本。此时分为几种情况，如下： 数据集中有未标注样本，上传重复的已标注样本，此时未标注样本将被覆盖 数据集中有已标注样本，上传重复的未标注样本，此时已标注样本将被覆盖 数据集中有已标注样本，上传不同标注的已标注样本，此时已有的标注样本将被覆盖
删除数据集 - ModelBuilder
需具有以下任一权限： 完全控制千帆大模型平台的权限：QianfanFullControlAccessPolicy 完全控制千帆大模型平台数据管理（除数据标注外）的权限：QianfanDataFullControlAccessPolicy 鉴权说明 调用本文API，使用“基于安全认证AK/SK”进行签名计算鉴权，即使用安全认证中的Access Key ID 和 Secret Access Key进行鉴权
数据流转平台
数据去重 - EasyDL零门槛AI开发平台 | 百度智能云文档
此时分为几种情况，如下： 数据集中有未标注样本，上传重复的已标注样本，此时未标注样本将被覆盖 数据集中有已标注样本，上传重复的未标注样本，此时已标注样本将被覆盖 数据集中有已标注样本，上传不同标注的已标注样本，此时已有的标注样本将被覆盖
数据去重 - EasyDL零门槛AI开发平台 | 百度智能云文档
此时分为几种情况，如下： 数据集中有未标注样本，上传重复的已标注样本，此时未标注样本将被覆盖 数据集中有已标注样本，上传重复的未标注样本，此时已标注样本将被覆盖 数据集中有已标注样本，上传不同标注的已标注样本，此时已有的标注样本将被覆盖
采集数据 - 机器人视觉 | 百度智能云文档
采集数据 校正的第一步是采集数据，数据的采集决定了校正的质量，请按步骤细心进行。 进入之前解压的程序所在的文件夹内，将模组接到PC，运行如下命令： .
数据去重 - EasyDL零门槛AI开发平台 | 百度智能云文档
当您创建了一个去重的数据集时，在后续上传数据的过程中，平台可通过检验您当前上传的样本与已上传到此数据集下的样本是否相同，如果相同，则会使用新的样本替代旧的样本。此时分为几种情况，如下： 数据集中有未标注样本，上传重复的已标注样本，此时未标注样本将被覆盖 数据集中有已标注样本，上传重复的未标注样本，此时已标注样本将被覆盖 数据集中有已标注样本，上传不同标注的已标注样本，此时已有的标注样本将被覆盖
数据清洗 - ModelBuilder
数据清洗 什么是数据清洗 数据清洗是面向提升大语言模型数据质量的一站式数据处理方案，通过对数据进行异常清洗、文本过滤、文本去重和去除隐私信息，大幅提升数据质量，优化模型训练效果。 面向SFT场景的数据清洗 登录到 操作台 ，在左侧功能列数据洞察与处理中选择SFT数据的 数据清洗 ，进入数据清洗的主任务界面，整体流程如下： 1.选择数据集 在数据清洗主页面中，选择“创建任务”。
数据回流 - ModelBuilder
数据回流 目录 创建数据回流配置 将推理问答回流至数据集 千帆ModelBuilder支持将线上预测服务的结果保存回数据集，经人工筛选、调整以及处理后，用于下一次的模型优化训练。 登录到 本平台 ，在左侧功能列选择 数据回流 ，进入创建数据回流主任务界面。 创建数据回流配置 您需要在数据回流任务界面，选择“创建回流配置”按钮。选择发布成功的在线服务或者 预置服务 。
