写入和查询数据 写入数据 bulk写入 用户创建向量索引后,即可使用ES BULK API写入数据。不同的 index_type 与 space_type ,在数据写入时没有区别。 在以下示例中,我们向 my_index 索引的 field_hnsw 和 field_linear 字段分别写入样例向量数据。
数据集构造 : 格式选择 :请遵循千帆SFT数据集格式规范准备数据,有两种数据格式供您选择:Prompt+Response或Role(user+assistant)。下载对应的样例模板作为参考,可以帮助您高效准备数据。 构造Prompt :请评估是否存在现有业务数据可用于构建训练数据集。
设置Bucket数据同步 接口说明 本接口用来创建数据同步。
上传数据集 您可以上传带有标注信息的数据,和无标注信息的数据。您可以根据自己的情况,选择上传方式,目前平台提供上传方式有: 上传Excel文件 上传TXT文本 上传压缩包 通过API导入 下面分别为您介绍几种上传方式 以Excel文件上传 Excel文件内数据格式要求为:每行是一个样本,使用第一列和第二列分别作为需要计算相似度的两个文本,第三列为相似度标签(如果导入无标注数据,此列无数据)。
注意:当您确定了数据集为去重或非去重的属性后,便不可修改 当您创建了一个去重的数据集时,在后续上传数据的过程中,平台可通过检验您当前上传的样本与已上传到此数据集下的样本是否相同,如果相同,则会使用新的样本替代旧的样本。
当您创建了一个去重的数据集时,在后续上传数据的过程中,平台可通过检验您当前上传的样本与已上传到此数据集下的样本是否相同,如果相同,则会使用新的样本替代旧的样本。此时分为几种情况,如下: 数据集中有未标注样本,上传重复的已标注样本,此时未标注样本将被覆盖 数据集中有已标注样本,上传重复的未标注样本,此时已标注样本将被覆盖 数据集中有已标注样本,上传不同标注的已标注样本,此时已有的标注样本将被覆盖
平台去重策略 平台提供了可去重的数据集,即对您上传的数据进行重复样本的去重。注意:当您确定了数据集为去重或非去重的属性后,便不可修改。 当您创建了一个去重的数据集时,在后续上传数据的过程中,平台可通过检验您当前上传的样本与已上传到此数据集下的样本是否相同,如果相同,则会使用新的样本替代旧的样本。
平台去重策略 平台提供了可去重的数据集,即对您上传的数据进行重复样本的去重。注意:当您确定了数据集为去重或非去重的属性后,便不可修改。 当您创建了一个去重的数据集时,在后续上传数据的过程中,平台可通过检验您当前上传的样本与已上传到此数据集下的样本是否相同,如果相同,则会使用新的样本替代旧的样本。
当您创建了一个去重的数据集时,在后续上传数据的过程中,平台可通过检验您当前上传的样本与已上传到此数据集下的样本是否相同,如果相同,则会使用新的样本替代旧的样本。此时分为几种情况,如下: 数据集中有未标注样本,上传重复的已标注样本,此时未标注样本将被覆盖 数据集中有已标注样本,上传重复的未标注样本,此时已标注样本将被覆盖 数据集中有已标注样本,上传不同标注的已标注样本,此时已有的标注样本将被覆盖
删除数据集 接口描述 删除数据集,同时删除所有版本。 权限说明 鉴权认证机制的详细内容请参见 鉴权认证 。 请求结构 Bash 复制 1 POST ?