"三板斧"解决大模型推理"慢"问题 千帆社区
productId=279 ☞ 同时 大模型技术专家可为您提供效果调优、应用定制和技术培训等付费专属服务 ： https://cloud.baidu.com/product/llmservice.html 一、前言 要想理解和解决大模型服务推理“慢”的问题，首先要知道大模型的推理结果是怎么产生的。
图像分类服务器端SDK集成文档-EdgeKitProxy - EasyDL零门槛AI开发平台 | 百度智能云文档
通过配置文件或命令行参数配置了预测池相关配置后，若预测池最小与最大预测器个数不同，且扩缩容配置不为-1则开启单机负载均衡，服务启动时会创建最小数量的预测器，后续根据实际请求情况，若所有预测器均有负载的持续时间大于配置中的满载扩容时间，且预测器数量未到达最大个数时，会自动扩容，后续若请求并发数下降，预测器池中预测器不能跑满负载时，则会自动缩容，尽可能最大化利用单机资源
图像分类服务器端SDK集成文档-EdgeKitProxy - EasyDL零门槛AI开发平台 | 百度智能云文档
通过配置文件或命令行参数配置了预测池相关配置后，若预测池最小与最大预测器个数不同，且扩缩容配置不为-1则开启单机负载均衡，服务启动时会创建最小数量的预测器，后续根据实际请求情况，若所有预测器均有负载的持续时间大于配置中的满载扩容时间，且预测器数量未到达最大个数时，会自动扩容，后续若请求并发数下降，预测器池中预测器不能跑满负载时，则会自动缩容，尽可能最大化利用单机资源
边缘集群概述 - 容器引擎CCE | 百度智能云文档
图片来自网络，仅供参考） 边缘集群定价 百度智能云容器引擎 CCE 免费为用户提供边缘 Kubernetes 集群服务，用户只需为使用的资源（如 边缘计算 BEC、负载均衡 BLB、弹性公网IP EIP）进行付费，具体计费标准可以参考 BEC 定价 、 BLB 定价 、 EIP 定价 。
通过Terraform管理SMS-Template - 简单消息服务SMS_通知短信_营销短信_验证码短信
provider,出现一下信息代表下载成功 terraform plan：确认资源变更计划 terraform apply：执行资源创建,出现以下信息代表成功 资源销毁 执行terraform destroy 命令可销毁上述资源 测试验证 执行terraform show 查看是否显示如下信息 登录 百度智能云 ，查看是否购买成功 登录后选择“SMS” 侧边栏选择“模块管理”，查看是否购买成功 相关产品 负载均衡
通过Terraform管理SMS-Signature - 简单消息服务SMS_通知短信_营销短信_验证码短信
命令创建资源 terraform init ： 用于下载或更新百度provider,出现一下信息代表下载成功 terraform plan：确认资源变更计划 terraform apply：执行资源创建,出现以下信息代表成功 资源销毁 执行terraform destroy 命令可销毁上述资源 测试验证 执行terraform show 查看是否显示如下信息 登录 百度智能云 ，查看是否购买成功 相关产品 负载均衡
产品优势 - 私有网络VPC | 百度智能云文档
传统数据中心中不允许地址空间重叠，不能创建多个完全一样的网络环境（灾备网络、与生产环境一致的测试环境等） 子网 用户灵活自定义网络IP段 将同类业务划分到相同子网，方便用户服务器统一管理，支持将云服务器BCC、专属云服务器DCC的子实例、物理机BBC等产品纳入私有网络中 路由表 对VPC内对流量进行灵活调度、管理、控制 通过全局路由表实现对子网级的流量简单、轻松管理、调度 安全组 对VPC内的BCC实例、DCC专属实例、负载均衡实例
安全组 - 私有网络VPC | 百度智能云文档
安全组 安全组概述 安全组是在VPC网络内为BCC实例和DCC专属实例、负载均衡实例、云数据库实例中创建的安全防火墙，定义IP＋端口的入站和出站访问策略，从而提高云服务器、负载均衡、云数据库等实例的安全性。
专线网关 - 私有网络VPC | 百度智能云文档
当前专线支持负载均衡和主备切换。 在百度智能云中配置路由表的步骤如下： 导航栏选择“路由表”，在路由表列表中，点击“添加路由”。 输入与访问用户侧网络所关联的路由表。
只读实例简介 - 云数据库RDS | 百度智能云文档
没有开通数据库代理服务，无法配置只读实例的业务分配权重，您可以在不同的应用程序中配置不同的连接地址（只读实例或主实例连接地址），实现读写分离和负载均衡。 在什么情况下，需要购买高可用系列的只读实例？ 在有大量读需求时，建议购买高可用系列的只读实例，保证读业务的稳定性。 如果主实例已经有备实例，还需要买高可用系列的只读实例吗？ 备实例用来保证业务的可用性的，只读实例用来做读写分离，处理读需求。
