aiak-inference-llm AIAK-LLM 是百舸异构计算平台的核心组件之一,专为大模型推理加速打造的一站式高性能推理引擎。它深度集成百度自研软硬件技术栈,旨在解决大模型在高并发、低延迟、高吞吐场景下的部署效率与成本难题。 是百度自研深度定制版,支持NVIDIA、昆仑芯等多种算力。支持 Hugging Face 生态模型格式,可零代码或少量配置完成模型迁移与加速。
配置域名动态加速规则 Method Path 说明 PUT /v2/domain/{domain}/config?
创建训练任务 概述 本文档介绍在百舸 AI 计算平台的控制台创建训练任务的方法。训练任务支持 自定义创建 和 基于开源模型训练模版创建 两种方式,基于模板创建方式已预置模型、镜像和训练代码,您可以根据业务需求选择合适的会创建方式。 前提条件 已成功创建资源池。详情请参见 创建资源池 。 已在资源池中准备可用于提交训练任务的队列。 操作步骤 登录 百舸 AI 计算平台 。
故障自愈 功能概述 大模型训练过程中服务器会有极小概率出现硬件级别故障,特别是在大规模算力使用场景下,算力规模越大发生硬件故障的可能性越高。当发生硬件故障时可能会影响节点和节点上服务的正常运行。 针对这一场景,百舸提供故障自动感知、上报能力,并配合业务情况针对不同的故障信息执行一系列自愈操作(如封锁节点、重启、机器维修
视频清晰度评分 简介 视频清晰度计算处理器,支持多种清晰度评估方法和抽帧策略。
创建异构机密计算实例 产品介绍 百度智能云第七代异构机密虚拟机,引入了 NVIDIA 提出的 Protect PCIe 加密模式。该模式支持将多块 GPU 直通到同一虚拟机,并能通过 NVLink 或 NVSwitch 构建高速互连集群,显著拓展了机密计算在更大规模、更高性能场景下的应用边界。
创建即时转码任务 基本介绍 MCP提供了业界全新的视频即时转码接口,支持通过设置url参数的方法实时转换视频的码率,实现h264,h265两种码率的互转。 操作方法 注意事项 使用前需开通 百度智能云音视频处理服务(MCP) ; 建议的转码视频分辨率:不超过1080P; 建议的转码视频大小:小于1GB。 规则和限制 目前仅支持北京、苏州、广州使用。
所选队列中若存在CPU机器,未使用加速芯片时如需优先调度到CPU机器,请勾选【 优先使用CPU机型】。为勾选此按钮将优先调度到 含有加速芯片的机型。 指定节点调度 对资源规格、节点驱动版本有特殊要求的场景可以使用指定节点调度功能,目前仅支持自运维资源池的物理队列指定节点调度 镜像地址 平台预置开发机镜像,您可以使用平台的预置镜像也可以自定义镜像。
查看实例信息 在任务详情下方的实例信息栏,您可以查看角色、实例名称、状态、重启次数、实例 IP、Host IP 、创建时间和执行时长。
API Explorer 去调试 您可以在 API Explorer 中直接运行该接口,免去您计算签名的困扰。运行成功后,API Explorer 可以自动生成 SDK 代码示例。 请求结构 Bash 复制 1 POST ?