推理参数说明 本文为您介绍AIAK-inference适用的推理参数详情,建议您在使用AIAK-inference进行模型推理加速前先查看本文档进行了解学习。
它将对你的代码进行所有必要的计算和验证,但是不会上传它或者发布一个版本。每次调用该操作时,所提供代码的CodeSha256散列值也将在响应中计算并返回。 暂未支持 响应头域 除公共头域,无其它特殊头域。
资源配置 参数 说明 实例数 设置训练任务实例数 加速芯片申请 申请加速芯片 加速芯片类型 选择加速芯片类型,选择后自动显示当前空闲加速芯片数 每实例加速芯片数 您可以根据当前空闲芯片数来设置每实例芯片数,当前任务使用加速芯片数=实例数* 每实例加速芯片数 CPU/内存 业务申请的CPU/内存数,默认为不限制,可以使用节点上剩余的空闲资源 共享内存 共享内存(shared memory)用于Linux
此处设置不同比例对应的颜色 行政区名 是否显示各行政区的名称 行政区名颜色 行政区名称字体颜色 行政区名字号 行政区名称字号 行政区名样式 行政区名称字体粗斜体样式 图层数据绑定:行政区图层支持绑定一个包含 GBCODE 和 权重 列的数据表。 其中GBCODE列必需为 String 类型、权重列必需为 Number 类型。
日志检索 支持从最近5000条日志中进行关键字检索。关键字不区分大小写 日志汇聚 在日志汇聚页面,您可以查看所有节点的最新日志,可选10、50、100条日志。 历史日志 前提:任务在创建时,已经开启日志持久化。 开启日志持久化后,您可以在历史日志查询全部日志。 日志检索 平台支持日志关键字的全文检索能力。 平台内置全文分词符号,支持基于分词后的关键字进行检索。
action=cacheFullUrl 设置url参数缓存规则,指定url带参数缓存或者不带参数缓存 domain: 需要设置的CDN加速域名 请求体 参数 可选 类型 说明 cacheFullUrl 必选 Bool true和false,true表示支持全URL缓存,false表示忽略参数缓存(可保留部分参数) cacheUrlArgs 可选 String列表 cacheFullUrl为true时
函数在VPC中访问外网 默认情况下,函数计算可以访问百度云的公有服务和公网,给函数配置 VPC 功能后,函数的出口流量都进入 VPC 中。若您的 VPC 没有公网访问能力,那么函数则就无法访问公网。如果您想让函数同时能访问 VPC 资源和公网,您需要给 VPC 添加 NAT 网关。 创建弹性公网IP 登录 弹性公网 IP 控制台 ,您可选择“实例”或“共享带宽”。
队列 选择模型需要部署的资源池中的队列 模型加速 支持的模型 :LLAMA2、CodeLlama、ChatGLM2、Baichuan1、Baichuan2和Qwen系列模型部署 推理加速 :AIAK加速引擎是百舸异构计算平台针对于大模型推理场景,推出的推理加速能力,使用百舸平台部署模型服务默认提供推理加速能力。
Layer)的梯度进行全规约操作的时间 PP通信耗时 forward-recv-time 在分布式训练或者模型并行中,接收前向计算所需数据的时间(通信 forward-send-time 在分布式训练或者模型并行中,发送前向计算结果数据的时间(通信) backward-recv-time 在分布式训练或者模型并行中,接收用于反向传播计算的梯度数据的时间(通信) backward-send-time
字体,字号,字体颜色,字体样式 - 字体的常规设置属性,和其他组件相同。 绑定属性 图文轮播组件特殊的绑定属性是“序列”,用来从数据源读取数据并显示为图文序列。 点开序列绑定后,选择一张数据表,然后在右侧指定图片 URL 和文字分别使用数据表的哪一列。点击确定后,即可将对应的两列一一配对成轮播图文。在后续运行中,当数据源改变时组件内容也会跟着数据一起改变。