aiak-inference-llm AIAK-LLM 是百舸异构计算平台的核心组件之一,专为大模型推理加速打造的一站式高性能推理引擎。它深度集成百度自研软硬件技术栈,旨在解决大模型在高并发、低延迟、高吞吐场景下的部署效率与成本难题。 是百度自研深度定制版,支持NVIDIA、昆仑芯等多种算力。支持 Hugging Face 生态模型格式,可零代码或少量配置完成模型迁移与加速。
假设您使用广州的Agent沙箱服务,您可以在.env文件中写入如下内容并保存。 .env 复制 1 E2B_DOMAIN=sandbox-execute.gz.baidubce.com 2 E2B_API_KEY=bsx_xxxxxxxx 然后在您的代码中使用 dotenv 库来引入,通过该种方式引入的环境变量在当前代码范围内生效。
此时,使用 CFC 以及百度云 TableStorage 则可以简单地实现 API 的托管,从而减少系统的负载,同时增加接口的可移植性。
创建异构机密计算实例 产品介绍 百度智能云第七代异构机密虚拟机,引入了 NVIDIA 提出的 Protect PCIe 加密模式。该模式支持将多块 GPU 直通到同一虚拟机,并能通过 NVLink 或 NVSwitch 构建高速互连集群,显著拓展了机密计算在更大规模、更高性能场景下的应用边界。
查询动态加速域名列表 Method Path 说明 GET /v2/dsa/domain 查询动态加速域名列表 响应体 (Response Body) 参数 可选 类型 说明 domains 必选 List<DSADomain> 动态加速域名列表 DSADomain结构如下: 参数 可选 类型 说明 domain 必选 String 加速域名 rules 必选 List<DSARule
创建即时转码任务 基本介绍 MCP提供了业界全新的视频即时转码接口,支持通过设置url参数的方法实时转换视频的码率,实现h264,h265两种码率的互转。 操作方法 注意事项 使用前需开通 百度智能云音视频处理服务(MCP) ; 建议的转码视频分辨率:不超过1080P; 建议的转码视频大小:小于1GB。 规则和限制 目前仅支持北京、苏州、广州使用。
查看实例信息 在任务详情下方的实例信息栏,您可以查看角色、实例名称、状态、重启次数、实例IP、Host IP和创建时间。
所选队列中若存在CPU机器,未使用加速芯片时如需优先调度到CPU机器,请勾选【 优先使用CPU机型】。为勾选此按钮将优先调度到 含有加速芯片的机型。 指定节点调度 对资源规格、节点驱动版本有特殊要求的场景可以使用指定节点调度功能,目前仅支持自运维资源池的物理队列指定节点调度 镜像地址 平台预置开发机镜像,您可以使用平台的预置镜像也可以自定义镜像。
配置域名动态加速规则 Method Path 说明 PUT /v2/domain/{domain}/config?
管理开发机 开发机生命周期管理 开发机的的生命周期指从创建开始到删除结束,开发机实例所经历的状态。在不同状态,开发机的登录、操作不同。