Kafka CDS资源申请 RESIZE_NODE_TYPE_RESOURCE_KAFKA Kafka 节点类型变更 INIT_DEPLOY_ENVIRONMENT 初始化部署环境 RESIZE_FS_CAPACITY_FOR_KAFKA 扩容文件系统大小 CONFIG_KAFKA_SERVICE 更新 Kafka 服务配置 START_KAFKA_SERVICE 启动 Kafka 服务 RESTART_KAFKA_SERVICE
前提条件 确保完成虚拟私有云(Virtual Private Cloud,以下简称VPC)VPC网络及子网相关配置 VPC需与Kafka集群所属相同区域 确保存在可用的安全组 操作流程 步骤一: 创建Kafka集群实例 步骤二: 创建主题 步骤三: 配置权限认证 步骤四: 访问Kafka集群 使用PLAINTEXT协议访问集群 使用SASL_PLAINTEXT协议访问集群 使用SASL_SSL协议访问集群
逐步配置信息连接服务 从Kafka官网下载Kafka二进制包: http://kafka.apache.org/downloads.html ,目前已支持了0.10版本。 通过Java访问Kafka服务的用户需使用Java客户端的pom依赖: kafka-client/0.10 ;我们推荐用户使用JDK 7 或JDK 8 版本,最低配置须为Java 1.7.0-b147。
目标端Kafka环境准备 目标端为百度消息服务主题 无需准备环境,可直接配置DTS任务。DTS操作步骤参见: 【操作步骤】 目标端为自建Kafka集群 由于DTS服务管控节点和目标端自建Kafka集群间存在网络隔离,因而需要配置自建Kafka集群的访问路由规则。您可以根据需要选择不同的访问方式,并按步骤配置您的Kafka集群。
产品规格 产品规格 根据不同的业务场景,消息服务 for Kafka专享版支持用户灵活配置集群规格,可由节点规格、节点数量、磁盘类型、磁盘大小以及网络带宽组成最为适合实际业务场景所需要的集群配置组合,在满足对业务稳定支持的前提下,最大化降低成本,提升性价比。
计费项 百度智能云消息服务 for Kafka专享版服务计费项如下: 计费项 说明 实例规格 Kafka实例下各节点的配置规格。 各规格均为1:4的vCPU内存比(较高的内存比可供PageCache提升读写效率)。 磁盘容量 消息队列Kafka版支持的磁盘类型包括高性能云磁盘和增强型SSD。 不同磁盘类型的磁盘单价不同。 磁盘类型一经下单,不支持更改,请谨慎选择。
使用编辑策略文件配置权限 ACL策略配置文件,可以理解为配置权限策略规则的json字符串,无论是系统策略还是用户自定义策略,最终都会映射成为一个ACL的json串;使用ACL策略配置文件,用户可以非常灵活的定义权限策略,Kafka提供了一个公用的ACL配置字符串模板,用户可以参照模板配置自己的策略,编辑ACL权限策略的语法可参考文档 策略语法 。
简介 Kafka API采用类似REST风格,提供对Kafka topic的创建与管理操作支持。如需基于topic进行读写操作,则可使用开源的 Kafka客户端 。 如果您是初次调用百度智能云产品的API,可以观看 API入门视频指南 ,快速掌握调用API的方法。
产品架构 服务架构 kafka 集群服务由多个 broker 组成,服务架构如下: 主题(Topic): 用于分类消息,可视为特定的消息流或消息队列,生产者向指定主题推送消息,消费者订阅主题并拉取消息。 消息节点(Kafka Broker): 组成 Kafka 集群服务的单个 kafka 进程,对应一台独立的 BCC 云主机。
接入点查看 概述 本文主要介绍如何查看专享版消息服务 for Kafka集群的接入点信息。 什么是接入点? 接入点是用于建立与Kafka集群初始连接的主机/端口对的列表。 本质上是Kafka集群所在机器的IP/端口信息。 接入点的作用 在Kafka生产者或消费者配置中配置此属性。