环境配置 选择镜像地址,如您任务创建方式选择AIAK训练加速模板创建,则无需再次选择镜像地址; 填写执行命令,您也可以基于AIAK加速训练加速模板中执行命令进行修改; 设置环境变量 配置资源 选择实例数 选择是否申请加速芯片、加速芯片类型 填写CPU 填写共享内存 选择是否开启RDMA 配置数据源 根据关联文件系统填写挂载路径。
自动化标注接口说明 接口描述 自动化标注接口面向大模型安全评测场景,针对大模型的用户输入(Prompt)与模型生成输出(Response),自动化识别并标注违法违规、低俗色情、暴力恐怖、偏见歧视、虚假信息、隐私泄露等各类安全风险,支持批量内容处理,辅助用户高效完成模型输入输出的风险标注工作,为大模型安全合规评估、模型迭代优化提供数据支撑。
mysqldump工具使用详解 工具介绍 mysqldump是MySQL自带的客户端工具,它主要用于对MySQL进行逻辑备份,可实现库、表、行级别的数据备份及库表结构备份需求。应用场景包括不限于如下几种情况: 执行DML、DDL类型SQL前进行数据备份(用于回滚需要)。 不同云厂商之间数据库的数据迁移。 数据库版本升级过程中的数据迁移。 导出部分数据到测试环境用于功能和性能测试。
查询训练任务详情 描述 获取一个训练任务的详细信息。 请求结构 Bash 复制 1 POST ?
如何用可视化工具调用 如何使用 Postman 调用图像识别服务 API 本文提供了通过可视化工具 Postman 调用 植物识别 API 的样例,帮助您零编码快速体验并熟悉图像识别服务。 视频教程请参见 如何用可视化工具调用API服务(视频版) 。 1.
查询训练任务列表 描述 获取指定资源池的任务列表 支持指定队列查询 支持按时间正序、倒序排序 支持分页 请求结构 Bash 复制 1 POST ?
在训练任务中使用云存储 在百舸异构计算平台提交分布式训练任务时,您可以通过存储挂载的方式将云存储(BOS、CFS、PFS、RapidFS)挂载到训练容器中,从而方便地在训练过程中直接读写存储中的数据。本文为您介绍如何在百舸训练任务中进行 BOS、CFS 、 PFS 、Rapidfs的存储配置与挂载使用。 前置条件 登录 百舸异构计算平台 AIHC 控制台 。 已创建资源池和队列。
如果选择的数据集中仅包含时间和数值两列,则训练参数配置如下所示: 选择模型:选择要训练的模型 选择数据集:选择训练模型使用的数据集 选择目标列:从数据集中选择表示时序的日期时间列 选择时间间隔:请根据序列中相邻两个样本点的时间间隔进行设置 选择目标列:需要被预测的随时间而变化的列 滑动窗口大小:表示使用多久的历史数据生成预测数据 预测长度:要预测的序列的长度,该长度因小于滑动窗口大小 如果选择的数据集中除时间和数值外还有其它列
FlashCkpt:大模型训练高性能ckpt保存 FlashCkpt 是百舸AI计算平台为PyTorch大模型训练场景而开发的高性能Checkpoint框架,实现接近0开销的模型状态保存。本文将介绍如何使用百舸 FlashCkpt 的能力,提升Checkpoint保存的性能。 背景信息 大模型训练随着参数量和数据规模的增长,受限于单机GPU内存容量限制,通常会使用分布式训练框架进行训练。
选择模型:选择要训练的模型 选择数据集:选择训练模型使用的数据集 选择目标列:从数据集中选择一列作为预测列 算法类型:包括二分类、多分类和回归,也可以选择自动,此时系统会根据数据集以及选择的目标列进行判断。 部署方式:当前仅支持公有云API方式。 单击“开始训练”启动训练任务。