关注百度智能云最新动态,了解产业智能化最新成果
百度百舸·AI 异构计算平台已支持快速部署 DeepSeek V3、R1 及其蒸馏的 Llama、Qwen 等小规模 dense 模型。您可以登录百度百舸平台快速部署 DeepSeek 系列模型体验模型效果。
1. 开通轻量计算实例
开通一台 H20(ebc.lgn7t.c208m2048.8h20.4d)规格的计算实例并添加到百度百舸·AI 异构计算平台。
2. 部署 vLLM
在百度百舸平台的左侧导航中选择「工具市场」页面,部署工具 vLLM。
发送请求开始对话。
4. 各系列模型的推荐配置清单
在完成满血版 DeepSeek 模型的快速部署后,百度百舸· AI 异构计算平台还能为这些在线服务提供全生命周期管理、自研框架推理加速、推理资源碎片整理等能力。在保障服务稳定性的同时,有效降低推理成本并提升推理性能。
如需使用百度百舸自研推理框架部署更稳定的在线服务,请参考使用文档 :快速部署DeepSeek-V3、DeepSeek- R1模型