调用示例 使用bos导入 Python import os # 使用bos进行数据导入 from qianfan . resources . console . consts import DataSourceType from qianfan import resources # 使用安全认证AK/SK鉴权,通过环境变量方式初始化;替换下列示例中参数,安全认证Access Key替换your_iam_ak
bos_accesskey 和 bos_secret_accesskey 可在公有云页面右上角点击 账户头像 -> 安全认证 获取。 bos_endpoint 和 BOS Bucket 所在地域有关,可查阅 访问域名 获取。 注:外部表中的数据也可以通过 SELECT 直接查询,但效率较低,推荐导入到 PALO 中后在执行查询。 导入数据 使用以下命令从外部表导入数据到内部表。
需具有以下任一权限: 完全控制千帆大模型平台的权限:QianfanFullControlAccessPolicy 运维操作千帆大模型平台数据管理(除数据标注外)的权限:QianfanDataOperateAccessPolicy HTTP调用 鉴权说明 调用本文API,使用“基于安全认证AK/SK”进行签名计算鉴权,即使用安全认证中的Access Key ID 和 Secret Access Key
data数据 名称 类型 备注 successNum int 名单导入成功条数 failedNum int 名单导入失败条数 resList obj 导入明细 resList数据 名称 类型 备注 status boolean 导入的状态,true为 成功 bool extJson string 调用方的业务随路数据, 字符串,百度侧原文回传 reason string 失败原因 taskMemberId
导入数据 创建数据集后,在「数据总览」页面中,找到该数据集,点击右侧操作列下的「导入」,即可进入导入数据页面,可以通过以下方式导入数据: 导入未标注的数据,在线进行数据标注 直接导入标注好的数据 不论您上传无标注信息的数据或有标注信息的数据,都需要以下述格式要求进行上传。
您可以使用3种方案上传数据,分别为: 本地导入 BOS目录导入 分享链接导入 本地导入 您可以通过以下三种方式进行本地数据的导入: 以压缩包的方式上传 以TXT文本文件方式上传 以Excel文件的方式上传 通过压缩包上传时,需注意: 压缩包内的一个文本文件将作为一个样本上传。
分享链接导入的要求如下: 仅支持来自百度BOS、阿里OSS、腾讯COS、华为OBS的共享链接 平台已有数据集 导入无标注数据时,选择需要导入的数据集名称,可导入其不带标注的全部数据,或未标注的数据 导入已标注数据时,选择需要导入的数据集名称,可导入其某个或全部标签下的数据 准备数据集的技巧 情感倾向分析任务中,可参考以下准备数据集的技巧: 设计分类 情感倾向分析的数据集,默认只使用正向和负向两种标签的数据
导入方式,分别为「本地导入」、「BOS目录导入」、「分享链接导入」、「平台已有数据集」; 通过本地导入时,可通过excel文件、TXT文件、压缩包形式上传 通过文本上传时,需注意: 文本文件内数据格式要求为 文本内容\n (即每行一个样本,使用回车换行),每一行表示一组数据,每组数据的数建议不超过512个字符,超出将被截断 文本文件类型支持txt,编码仅支持UTF-8,单次上传限制100个文本文件,
分享链接导入的要求如下: 仅支持来自百度BOS、阿里OSS、腾讯COS、华为OBS的共享链接 平台已有数据集 导入无标注数据时,选择需要导入的数据集名称,可导入其不带标注的全部数据,或未标注的数据 导入已标注数据时,选择需要导入的数据集名称,可导入其某个或全部标签下的数据 准备数据集的技巧 文本分类任务中,可参考以下准备数据集的技巧: 设计分类 设计整个数据集的分类体系,即抽象出文本所需识别的标签,
您可以使用3种方案上传数据,分别为: 本地导入 BOS目录导入 分享链接导入 本地导入 您可以通过以下三种方式进行本地数据的导入: 以压缩包的方式上传 以TXT文本文件方式上传 以Excel文件的方式上传 通过压缩包上传时,需注意: 压缩包内每一个txt文件为一个样本,文本文件编码须为UTF-8,每个样本字符数不得超过512个字符(包括汉字、数字、符号等),超出将被截断 压缩包的格式为zip;压缩包最大不超过