使用自定义任务处理数据 在百舸平台中用户可以利用已有资源池队列或创建专门的CPU资源池,使用分布式训练任务模块提交自定义任务方式处理数据,并将处理好的数据写入到BOS、PFS、CFS等存储中供后续业务使用。 此文档提供使用百舸自定义任务处理数据的最佳实践方法和思路,针对不同业务场景,用户可参考该文档实现更加复杂的数据处理任务,亦可以创建可以并发处理的分布式处理任务。
创建镜像仓库 Step1:进入平台管理-资源池管理,已挂载并运行正常的用户资源池支持“镜像仓库”的操作项,点击即可开始查看镜像仓库。 Step2:点击镜像仓库,即可进入镜像仓库列表。 Step3:点击添加镜像仓库,即可进入添加流程。 企业版:支持选择资源池对应区域和VPC下的,归属于主账号的容器镜像服务CCR-企业版的实例,并填写账号密码进行添加。
genWord : 200} promptIteration Object 否 迭代增强的选项,说明:默认不传关闭 similarityThreshold Double 否 过滤相似度阈值,说明: · 不传该参数,则不会进行去重过滤 · 只有生成样本的ROUGE-L小于阈值的样本才会添加到种子池,
自运维资源池 :自运维资源池,需要先创建资源池购买用于AI推理的计算资源,请参考 自运维资源池 全托管资源池 :免运维资源池,您无需运维和管理资源池和算力资源,由平台保障资源池稳定性,请参考 全托管资源池 资源池/队列 选择资源池和队列或资源队列 资源规格 支持创建CPU 或GPU开发机,创建GPU开发机时需指定 指定CPU 、内存、GPU卡数。
提交信息后,我们将在1个工作日内进行审核,审核通过后,相应数量的授权将被分配到您的授权总数池中,默认测试授权数量为2个。 如您已经申请过相应模型的试用版授权,但数量不够时,可以选择「申请更多」,填写申请理由即可,审批通过后,默认下发对应模型2个试用版授权。 4.正式购买。正式购买的授权,有效期为永久有效,此「永久」是指绑定到具体的设备维度,但如已绑定的硬件设备变更后,授权则可能会失效。
it_time' = '10000'); 如果除了 Connection is not available, request timed out after 5000ms 之外还有其他错误信息 ,请检查这些附加错误: 网络问题 (例如,服务器不可达)可能导致连接失败。
全托管资源池 :免运维资源池,您无需运维和管理资源池和算力资源,由平台保障资源池稳定性 服务 仅支持Prefill和Decode两种角色且固定角色名不能修改 资源池队列 不能跨资源池,一组中的多角色服务可以跨资源队列 资源规格 选择部署服务所需的加速芯片类型和卡数、CPU、内存;加速芯片类型选择 “不使用加速芯片”即部署CPU服务。
pageSize Number 可选 Query参数 分页大小(默认10) onlyMyDevs String 可选 Query参数 是否只看自己开发机(value 为 true 则只看自己创建的,否则可以看到其他人创建的) resourcePoolId String 可选 Query参数 资源池
e : number , description : Prompt生成的过滤相似度阈值,当开启Prompt生成返回该字段,说明:只有生成样本的ROUGE-L小于阈值的样本才会添加到种子池,阈值越低,样本重复概率越低取值范围:[0.5, 1] }, srcDatasetVersionId :{ type
promptIteration object Prompt生成的迭代增强配置,当开启Prompt生成返回该字段 similarityThreshold double Prompt生成的过滤相似度阈值,当开启Prompt生成返回该字段,说明:只有生成样本的ROUGE-L小于阈值的样本才会添加到种子池,