推理参数说明 本文为您介绍AIAK-inference适用的推理参数详情,建议您在使用AIAK-inference进行模型推理加速前先通过本文档进行了解学习 量化参数 参数名 取值类型 是否必选 默认值 可选值 描述 -i str 是 原始模型权重输入路径 -o str 是 量化后的模型权重输出路径 -quant_type str 是 weight_only_int8、smooth_quant、awq
必填, 默认不申请,启用时需进一步选择加速芯片类型、加速芯片数 加速芯片类型 必填, 选择加速芯片类型 加速芯片数 选填, 设置加速芯片数,不填写或填写0时表示不带加速芯片 CPU 选填 ,默认值:不限;设置开发机占用的最多CPU核数 内存 选填 ,默认值:不限;设置开发机占用的最大内存大小 共享内存 选填 ,默认值10Gi,一般使用默认值即可,如业务有额外需求,可以按需修改 共享内存(shared
查询加速域名详情接口 接口 本接口用于查询加速域名的详细配置信息。 Method Path Action GET /v2/domain/{domain}/config 获取指定加速域名配置的基本信息 domain:需要查询CDN的加速域名。
Bearer认证请在生产环境使用HTTPS协议,HTTP协议仅用于开发测试,因使用HTTP协议导致的Token泄漏,函数计算不承担安全责任。 函数计算仅负责存储和校验您配置的Token信息,Token的管理需要您自己负责。请及时轮换已经泄漏的Token和已经被证明是不安全的Token,Token使用时间较长时,也请主动轮换。
此时,使用 CFC 以及百度云 TableStorage 则可以简单地实现 API 的托管,从而减少系统的负载,同时增加接口的可移植性。
假设您使用广州的Agent沙箱服务,您可以在.env文件中写入如下内容并保存。 .env 复制 1 E2B_DOMAIN=sandbox-execute.gz.baidubce.com 2 E2B_API_KEY=bsx_xxxxxxxx 然后在您的代码中使用 dotenv 库来引入,通过该种方式引入的环境变量在当前代码范围内生效。
查询动态加速域名列表 Method Path 说明 GET /v2/dsa/domain 查询动态加速域名列表 响应体 (Response Body) 参数 可选 类型 说明 domains 必选 List<DSADomain> 动态加速域名列表 DSADomain结构如下: 参数 可选 类型 说明 domain 必选 String 加速域名 rules 必选 List<DSARule
配置域名动态加速规则 Method Path 说明 PUT /v2/domain/{domain}/config?
操作部署 如果您还没有开通CFC服务,请参考 函数计算概览 开通;如果您已开通,则可以跳过该步骤。
增长未提前书面告知百度智能云所导致的可用性降低; (4)客户的应用程序受到黑客攻击而引起的; (5)客户维护不当或保密不当致使数据、口令、密码等丢失或泄漏所引起的; (6)客户的疏忽或由客户授权的操作所引起的; (7)客户未遵循百度智能云产品使用文档或使用建议引起的; (8)不可抗力以及意外事件引起的