2024-05 新增AI加速套件,整合AIAK训练、推理加速镜像及训推加速过程中所需的一系列工具,轻松一键获取。 推理服务支持实例反亲和部署,避免单节点故障导致服务不可用。 推理服务实例弹性伸缩,在业务负载出现波峰或波谷时,可以根据业务流量自动调整实例数量,实现动态管理线上服务的计算资源,从而保障业务平稳运行并提高资源利用率。 推理服务支持设置防抢占策略,开启后实例不会被训练任务抢占。
假设您使用广州的Agent沙箱服务,您可以在.env文件中写入如下内容并保存。 .env 复制 1 E2B_DOMAIN=sandbox-execute.gz.baidubce.com 2 E2B_API_KEY=bsx_xxxxxxxx 然后在您的代码中使用 dotenv 库来引入,通过该种方式引入的环境变量在当前代码范围内生效。
aiak-inference-llm AIAK-LLM 是百舸异构计算平台的核心组件之一,专为大模型推理加速打造的一站式高性能推理引擎。它深度集成百度自研软硬件技术栈,旨在解决大模型在高并发、低延迟、高吞吐场景下的部署效率与成本难题。 是百度自研深度定制版,支持NVIDIA、昆仑芯等多种算力。支持 Hugging Face 生态模型格式,可零代码或少量配置完成模型迁移与加速。
创建训练任务 概述 本文档介绍在百舸 AI 计算平台的控制台创建训练任务的方法。训练任务支持 自定义创建 和 基于开源模型训练模版创建 两种方式,基于模板创建方式已预置模型、镜像和训练代码,您可以根据业务需求选择合适的会创建方式。 前提条件 已成功创建资源池。详情请参见 创建资源池 。 已在资源池中准备可用于提交训练任务的队列。 操作步骤 登录 百舸 AI 计算平台 。
查询动态加速域名列表 Method Path 说明 GET /v2/dsa/domain 查询动态加速域名列表 响应体 (Response Body) 参数 可选 类型 说明 domains 必选 List<DSADomain> 动态加速域名列表 DSADomain结构如下: 参数 可选 类型 说明 domain 必选 String 加速域名 rules 必选 List<DSARule
视频清晰度评分 简介 视频清晰度计算处理器,支持多种清晰度评估方法和抽帧策略。
创建异构机密计算实例 产品介绍 百度智能云第七代异构机密虚拟机,引入了 NVIDIA 提出的 Protect PCIe 加密模式。该模式支持将多块 GPU 直通到同一虚拟机,并能通过 NVLink 或 NVSwitch 构建高速互连集群,显著拓展了机密计算在更大规模、更高性能场景下的应用边界。
创建即时转码任务 基本介绍 MCP提供了业界全新的视频即时转码接口,支持通过设置url参数的方法实时转换视频的码率,实现h264,h265两种码率的互转。 操作方法 注意事项 使用前需开通 百度智能云音视频处理服务(MCP) ; 建议的转码视频分辨率:不超过1080P; 建议的转码视频大小:小于1GB。 规则和限制 目前仅支持北京、苏州、广州使用。
所选队列中若存在CPU机器,未使用加速芯片时如需优先调度到CPU机器,请勾选【 优先使用CPU机型】。为勾选此按钮将优先调度到 含有加速芯片的机型。 指定节点调度 对资源规格、节点驱动版本有特殊要求的场景可以使用指定节点调度功能,目前仅支持自运维资源池的物理队列指定节点调度 镜像地址 平台预置开发机镜像,您可以使用平台的预置镜像也可以自定义镜像。
配置域名动态加速规则 Method Path 说明 PUT /v2/domain/{domain}/config?