数据去重

更新时间：2023-12-06

重复样本的定义

一个样本包括文本内容和标签。重复样本的定义，是指您上传的数据中，存在两个样本的文本内容完全一致。则被判定为两个样本是重复样本。例如：

上表三个样本均为重复样本，后两个样本虽然标签不一，但文本内容一致，也为重复样本。根据文本出现的顺序，最后一次的重复样本将代替之前的重复样本。

小Tips：“如何利用好重复样本” 如果您的数据存在样本种类不均衡的现象，您可以通过将重复样本数量小的那一类，使其样本数量增加到与数据量大的那一类样本数量相近，以提高模型训练的效果，这种方法也称为“上采样”。

平台提供了可去重的数据集，即对您上传的数据进行重复样本的去重。

当您创建了一个去重的数据集时，在后续上传数据的过程中，平台可通过检验您当前上传的样本与已上传到此数据集下的样本是否相同，如果相同，则会使用新的样本替代旧的样本。此时分为几种情况，如下：