消息服务for Kafka-专享版 消息服务 for Kafka-专享版包含5种监控对象类型,分别是:服务监控(Broker)、主题监控(Topic)、主机监控(Node)、集群监控(Cluster)、消费组监控(ConsumerGroup),各个类型包含的监控指标列表如下: 服务监控(Broker) 指标英文名称(metric name) 指标中文名称 单位 维度 备注 ActiveControllerCount
吞吐包含了生产者与消费者,所以分区个数计算公式是:max(t/p,t/c),其中t、p、c分别代表期望的总通量、生产者在一个分区通量、消费者在一个分区通量。 由于消息是以队列的形式缓存在Kafka中,分区个数并不需要按照峰值来设置,而只要按照平均值来设置即可,当然缺点是延时会提高。 什么是客户端?
在队列管理页面单击 新建队列 。 在新建队列页面中,完成队列基本信息配置: 队列名称:自定义队名名称,长度为 1-63 个字符,只能包含数字、小写字母和“-”,且首尾只能是字母或数字。 资源超发:当队列资源不足时,可超发到集群中运行,当集群中有高优任务需要运行,会抢占超发任务的运行资源。 备注:自定义队列的备注信息,长度不超过 300 个字符。
支持小写字母、数字以及 - 且开头必须是小写字母,结尾必须是小写字母或数字,长度1-50字符 资源池 选择任务部署的百舸资源池 队列 选择任务需要部署在资源池下的队列 优先级 选择任务优先级,支持设置为高、中、低 训练框架 当前支持PyTorch和MPI训练框架 日志持久化 开启日志持久化功能会将您的任务日志持久化保存到日志服务(BLS)中,日志存储、读取、写入和索引会产生费用,详情参考 价格详情
配置死信队列 有以下两种方式为函数配置死信队列: 通过API方式:在创建函数或更新函数配置接口中指定函数的DeadLetterTopic 通过控制台:在创建函数后,进入函数详情页,为函数添加死信队列 注意:创建死信队列前,首先需要在消息服务中创建Topic,具体请参考 百度消息服务 。
删除队列 您可以通过容器引擎管理控制台删除不再需要的队列。 前提条件 您已成功安装 CCE AI Job Scheduler 和 CCE Deep Learning Frameworks Operator 组件,否则云原生 AI 功能将无法使用。 您已成功创建队列。 限制说明 系统创建的 default 队列不支持删除。 操作步骤 登录 百度智能云官网 ,并进入管理控制台。
死信队列:RabbitMQ支持消费失败消息、TTL过期消息、队列长度超限消息进入死信队列,且不重新发送到原来的队列消费,保证消息不丢失。 延时队列:RabbitMQ支持消息延时/定时发送,满足用户多个场景下的需求。
在集群管理页面单击 云原生AI > 队列管理 。 在队列管理页面中,单击目标队列的 修改 。 在修改队列页面中,更新队列配置。 点击“确定”按钮,完成修改队列。
文件存储 CFS 云磁盘 CDS 存储网关BSG 边缘计算节点 BEC 数据流转平台CloudFlow 内容分发网络 CDN 海外CDN 动态加速 DRCDN 并行文件存储PFS 云数据库 RDS 云数据库 Redis 云数据库 DocDB for MongoDB 云数据库 HBase 云数据库 GaiaDB 分布式数据库 GaiaDB-X 数据传输服务 DTS 云数据库 TableStorage 消息服务
队列限制说明 队列配额遵循以下的限制: 单个子队列“独占型+共享型+抢占型”配额之和不允许大于父队列“独占型+共享型+抢占型”配额之和 同一父队列下的子队列“独占型”配额之和不允许大于父队列“独占型”配额 同一父队列下的子队列“独占型+共享型”配额之和不允许大于父队列“独占型+共享型”配额 层级队列遵循以下限制: 不支持指定default 队列为父队列 不支持指定第二层队列为父队列 不支持不允许向已存在运行任务的队列添加子队列