重置消费组位点 该接口用于重置集群中指定消费组的位点数据。 集群处于服务中状态(ACTIVE)。
消费组重置位点 操作场景 用于改变某个消费组的消费位点。 前提条件 集群必须处于 服务中 状态。 消费组重置位点时,需要确保该消费组内没有消费者正在运行,否则会操作失败。 操作步骤 登录 消息服务 for Kafka控制台 进入集群列表页面,点击需要操作的集群。 在 消费组管理 页面,在需要重置位带你的消费组右侧点击 重置位点 按钮,填写需要重置的主题和分区,并且选择重置策略进行重置。
删除消费组 该接口用于删除集群中的消费组。 集群处于服务中状态(ACTIVE)。
查看消费组订阅信息 操作场景 用于查看消费组订阅的主题信息以及消费详情。 操作步骤 登录 消息服务 for Kafka控制台 进入集群列表页面,点击需要操作的集群。 在 消费组管理 页面能看到集群中的消费组列表。 点击具体的消费组名称可以查看当前消费组所订阅的主题列表。 点击 查看详情 按钮可以查看当前消费组在对应主题中的具体消费情况。
producer < broker > < topic > < username > < password > 步骤五:查看集群监控 查看消息是否发送成功或消费成功有两种方式: 在服务器端/控制台查看日志。 在专享版消息服务 for Kafka控制台查看集群监控,获取集群生产、消息情况。 推荐使用第二种方式,下面介绍如何查看集群监控。
producer < broker > < topic > < username > < password > 步骤四:查看集群监控 查看消息是否发送成功或消费成功有两种方式: 在服务器端/控制台查看日志。 在专享版消息服务 for Kafka控制台查看集群监控,获取集群生产、消息情况。 推荐使用第二种方式,下面介绍如何查看集群监控。
bootstrap - server < PLAINTEXT接入点地址 > -- topic < Topic 名称 > -- group < 消费组ID > -- from - beginning 如果通过上述命令能够正常发送和消费消息,则说明当前VPC网络环境下能够通过PLAINTEXT协议正常访问Kafka集群,可以参考 开发指南 中各种语言访问Kafka集群来实现更复杂的逻辑
另外一种比较典型场景是热key,例如在秒杀场景下,业务会超过频访问个别key,容易引发 CPU 和 网络IO 资源打满。 如何确认是否存在数据倾斜 ? 查看实例的集群监控、分片监控、节点监控,查看慢日志。 如何处理数据倾斜 ? 可能的原因 短期方案 长期方案 空间倾斜 key数量倾斜 hashtag。 实例容量升配。 业务分析改造。 key大小倾斜 个别复杂数据类型key包含元素个数较多。
使用SASL_SSL协议访问集群 本文介绍创建完集群后,如何使用Kafka脚本通过SASL_SSL协议访问Kafka集群,SASL_SSL协议需要在 公网网络 下进行使用。如果想使用Java、Go、PHP等语言访问Kakfa集群,请参考 开发指南 。 前提条件 步骤一:创建Kafka集群 步骤二:创建主题 步骤三:配置权限认证 安装JDK1.8及以上版本: JDK下载地址 。
使用SSL协议访问集群 本文介绍创建完集群后,如何使用Kafka脚本通过SSL协议访问Kafka集群,SSL协议需要在 公网网络 或者 VPC网络 下进行使用。如果想使用Java、Go、PHP等语言访问Kakfa集群,请参考 开发指南 。 前提条件 步骤一:创建Kafka集群 步骤二:创建主题 步骤三:配置权限认证 安装JDK1.8及以上版本: JDK下载地址 。