队列管理 队列功能概述 队列是一个资源池中部分资源的集合,用于工作负载(训练任务、模型服务)的运行。用户可将资源池划分成若干个独立队列(逻辑队列、物理队列)来运行不同工作负载。资源池创建成功后会默认生成default队列。 队列分为逻辑队列和物理队列,逻辑队列仅通过配额限制资源使用,与物理节点无绑定;物理队列绑定节点,实现队列间资源物理隔离。
消息(Message) 消息队列服务对外服务的基本实体单元,消息由Header(标签)和Body(消息体)组成。Header是消息生产者添加的各种属性的集合,包括消息是否被持久化,由哪个队列接受,优先级是多少等等。Body是消息体,是真正需要被传输的数据。 队列(Queue) 消息的容器,存储被生产者投递过来但尚未被消费的消息。生产者把消息发送到队列,消费者从队列中获取并消费消息。
死信队列:RabbitMQ支持消费失败消息、TTL过期消息、队列长度超限消息进入死信队列,且不重新发送到原来的队列消费,保证消息不丢失。 延时队列:RabbitMQ支持消息延时/定时发送,满足用户多个场景下的需求。
0.004元/百万个记录 消息传输记录数阶梯 单价 0-2亿条(含) 0.007元/百万个记录 2亿(不含)-20亿条(含) 0.006元/百万个记录 20亿(不含)-50亿条(含) 0.005元/百万个记录 大于50亿条 0.004元/百万个记录 消息传输记录数阶梯 单价 0-2亿条(含) 0.007元/百万个记录 2亿(不含)-20亿条(含) 0.006元/百万个记录 20亿(不含)-50亿条(
个队列 如果查询结果中,两个Combined字段取值相同,则表示弹性网卡已开启支持多队列。
MessagePublishRateQueue 队列发布消息速度 条/秒 InstanceId,QueueName Messages 实例消息数 条 InstanceId MessagesReady 实例可消费消息数 条 InstanceId MessagesReadyQueue 队列可消费消息数 条 InstanceId,QueueName MessagesUnacknowledged 实例未确认消息数
网络扩容后的问题如下: 不同系统之间的数据同步 系统扩展问题 第三阶段:新增Kafka模块提供消息队列,Web应用数据只需向队列中添加数据,网络中的各组件从队列中依次读取数据并自行处理,如下图所示: 网络扩容带来的问题迎刃而解,而且降低了系统组网复杂度;降低编程复杂度,各个子系统不在是相互协商接口,各个子系统类似插口插在插座上,Kafka承担高速数据总线的作用。
创建和管理资源队列 概述 托管资源池资源队列是算力资源分配调度的单元,所有使用托管资源池算力的工作负载都需要提交到对应的资源队列中才能获得算力分配。本文将介绍如何创建和管理资源队列。 创建资源队列 登录 百舸异构计算平台AIHC控制台 。 在左侧菜单栏选择托管资源池,进入托管资源池页面,选择 资源队列 ,点击 新建资源队列 。 在创建资源队列页面,根据实际需求完成相关参数配置。
消息服务for Kafka-专享版 消息服务 for Kafka-专享版包含5种监控对象类型,分别是:服务监控(Broker)、主题监控(Topic)、主机监控(Node)、集群监控(Cluster)、消费组监控(ConsumerGroup),各个类型包含的监控指标列表如下: 服务监控(Broker) 指标英文名称(metric name) 指标中文名称 单位 维度 备注 ActiveControllerCount
消息查询 操作场景 用于在控制台中根据时间或者位点来查询主题中的消息。 注意事项 支持查询结果最多显示20条消息,且总大小不超过10MB。 每10秒可查询一次。 操作步骤 登录 消息服务 for Kafka控制台 进入集群列表页面,点击需要操作的集群。 在 消息查询 页面选择所要查询的主题、查询方式、分区、起始位点/时间等信息进行查询,并且点击右上角的下载按钮可以将本次查询到的消息下载到本地。