管理开发机 开发机生命周期 开发机的的生命周期指从创建开始到删除结束,开发机实例所经历的状态。在不同状态,开发机的登录、操作有所不同。 以下介绍开发机状态说明及状态转换说明。
使用vLLM加速大模型推理 vLLM(Vectorized Large Language Model)是一个高性能的大型语言模型推理库,支持多种模型格式和后端加速,适用于大规模语言模型的推理服务部署。 准备环境和资源 可根据资源规模、稳定性、灵活性等要求按需准备轻量计算实例或通用计算资源池,用于快速部署vLLM。
请注意保存task_id列表。
相关案例 PonyCar 交通出行 PonyCar搭载人脸核身方案上路 华捷电子 交通出行 人脸识别助力江苏首个公交刷脸乘车项目落地南通 查看更多案例 > 合作咨询 售前咨询 填写您的业务需求,专属客户经理会尽快联系您,提供1对1咨询服务 售后智能助手 智能诊断,快速解决使用问题 联系销售 更多咨询,请拨打 400-920-8999 转 1 体验AI Web端 前往 AI能力体验中心 移动端
调用失败详情内容为调用失败原因解释,可以根据描述、处理意见进行修改,也可以根据错误码配合技术文档进行排查。
如需保存开发环境和数据,请先制作镜像保存。
安装LLaMA Factory 在工具市场>模版市场 选择LLaMA Factory模版,点击 部署工具 按钮,使用轻量计算实例或通用计算资源快速部署LLaMA Factory; 根据模型参数量,选择使用单机单卡、单机多卡或多机多卡进行训练。 准备数据集 LLaMA-Factory项目内置了丰富的数据集,统一存储于 data 目录下。您可以跳过本步骤,直接使用内置数据集。
完成上述步骤之后,点击保存即可。
LLM微调 使用脚本微调 相关参数解释详见 https://github.com/modelscope/ms-swift/blob/main/docs/source/Instruction/%E5%91%BD%E4%BB%A4%E8%A1%8C%E5%8F%82%E6%95%B0.md 单卡微调 单卡微调脚本如下: # Experimental environment: A10 # 24GB GPU
准备资源 可根据资源规模、稳定性、灵活性等要求按需准备轻量计算实例或通用计算资源池,用于快速部署ComfyUI。 安装ComfyUI 在工具市场 选择ComfyUI模版,点击 部署工具 按钮; 根据模型开发调试需求,选择使用卡数量,至少需要选择1张卡,点击 确定 等待工具启动。