合规助手 理解力增强提升使用体验和效果 借助大模型,对用户问题的意图理解及金融机构制度的解读能力有显著提升,可以对需要计算、判断、论证的问题给出适配性的答案,以问答的形态,呈现合规判断和风险初识的结果。 全库检索提高知识引用的完备性和有效性 通过自然语言提问,在海量制度中锁定与目标问题相关的多项制度条款,确保原始知识的全面性和有效性。
3.用户可以完成对实例的变更实例配置操作。 方式一:实例列表页变更配置 操作说明 支持变更单个实例配置。 用户需要进行二次确认之后,才会对运行中的实例执行 变更配置 操作。 变更配置会导致实例重启,重启过程中相关服务会中断,请用户谨慎操作。 方式二:实例详情页变更配置 操作说明 1.实例列表页支持停止实例。只有运行中实例能够执行停止操作。
网络测试 百舸异构计算平台,提供基于NCCL通信库的性能测试工具。 说明 健康检查 在进行通信库测试之前,会首先进行节点的状态检测,节点状态检测通过才会进行通信库测试。
数据转储任务创建 登录 百舸异构计算平台AIHC控制台 。 在左侧菜单栏选择数据管理,进入数据管理页面,找到您想要转储的数据集数据集/模型,点击操作栏中的数据转储按钮。
训练任务事件 概述 任务事件包括了任务在启动/运行阶段,任务以及关联资源的变更情况,可以弥补资源监控在实时性和场景上的欠缺,有助于运维人员日常观察的任务变更以及定位问题。本文介绍如何查询训练任务的事件信息。 操作步骤 登录 百舸异构计算平台AIHC控制台 。 在左侧菜单栏选择 训练任务 ,进入 任务列表 页面。
前提条件 模型部署前,请先准备AI计算资源 AI计算资源 操作步骤 登录 百舸异构计算平台AIHC控制台 。 进入 模型部署 列表页面,点击 新建 按钮, 创建模型部署 。 填写模型服务信息 参数 说明 名称 模型部署实例的名称。
服务域名 百舸openAPI通过公网域名按地域接入: Region Endpoint Protocol 北京 aihc.bj.baidubce.com HTTP and HTTPS 广州 aihc.gz.baidubce.com HTTP and HTTPS 苏州 aihc.su.baidubce.com HTTP and HTTPS 保定 aihc.bd.baidubce.com HTTP and
3.查看性能监控 登录百舸异构计算平台AIHC控制台。 左侧菜单栏单击 训练任务 ,进入训练任务列表页面。 选择需要查询的训练任务,单击 监控 > 性能监控 ,即可查询该任务的性能监控大盘。
登录 百舸异构计算平台AIHC控制台 。 进入 训练任务 列表,选择需要停止的任务,在操作栏单击 停止 。 停止后资源将被释放,仍可查看日志、监控和Tensorboard信息。 复制训练任务 在大模型训练中,需要频繁调整参数以获得最佳训练效果,百舸控制台提供了任务复制功能。可快速复制当前任务信息,您可在当前任务基础上修改相关参数再次提交,提高模型训练效率。
建议您按照百舸推理服务推荐配置相关资源,使用1张A800 GPU卡进行Llama 7B或13B模型的推理服务部署,如配置多卡跑Llama 7B或13B这类参数量相对较小的模型,由于引入多卡间的通信损失,反而可能会带来性能下降。 部署Llama 7B和13B模型推理服务的CPU和内存默认推荐规格是什么?