应用场景 IM社交&Feed流 物联网&车联网 广告&电商推荐 游戏应用 场景概述 IM(Instant Messaging,即时通讯)成为当前互联网业务基础组件,人与人之间每天在此之间产生大量信息,包括IM聊天,评论、跟帖和点赞等,这需要高效的海量消息存储、同步、检索。
数据集成 离线数据同步 数据库、MPP数仓、Nosql、对象存储、HDFS分布式文件系统等异构数据源的定时、周期性同步。 实时流采集 支持http ,kafka 实时流数据同步到 DB、MPP数仓、Nosql、对象存储、HDFS分布式文件系统等数据源。 0代码数据集成 可视化拖拽式,拖拽式建立数据集成流水线。 数据开发 可视化开发 拖拽式插件式开发流水线作业,作业组编排同步支持可视化拖拽。
共享知识、传递经验、知识推荐、全局搜索,以事找人提高沟通效率,图片搜索能快速检索到消息记录重要图片。 安全保障 基于随机密钥协商技术,建立安全的消息通道,保证IM消息安全传输;使用端到端增强加密技术,确保通话数据安全传输,任何第三方无法获取通话内容;所有消息统一加密存储,对每个文档单独加密存储。
存储分析 操作场景 用于查看集群中的磁盘使用情况,可针对具体节点通过使用量排名、使用量大小以及使用量占比三个维度分析节点中磁盘的使用情况。 操作步骤 登录 消息服务 for Kafka控制台 进入集群列表页面,并选择具体的集群。 在左侧选择 存储分析 ,可以看到集群当前所有节点上的磁盘使用的相关信息。 点击某节点右侧的 分析按钮 可以查看该节点中各个Topic的磁盘占比情况。
并行文件存储PFS 数据湖缓存加速工具RapidFS 云数据库 RDS 云数据库 Redis 云数据库 DocDB for MongoDB 云数据库 HBase 云数据库 GaiaDB 分布式数据库 GaiaDB-X 数据传输服务 DTS 云数据库 TableStorage 消息服务 for RabbitMQ 函数计算 CFC 容器实例BCI 容器镜像服务CCR DDoS防护服务 应用防火墙 WAF
同时,Kafka将主题划分为多个分区(Partition),并根据分区规则选择消息存储的分区。若分区规则设置合理,则所有的消息被均匀的分布到不同的分区中,可实现负载均衡和水平扩展。 以高容错的方式存储海量数据流。 多个订阅者可以从一个或者多个分区中同时消费数据,以支撑海量数据处理能力。
变更存储策略 该接口用于变更集群磁盘存储策略。
在专享版消息服务 for Kafka控制台查看集群监控,获取集群生产、消息情况。 推荐使用第二种方式,下面介绍如何查看集群监控。 (1)在专享版消息服务 for Kafka的控制台页面找到需要连接的集群,点击集群名称进入 集群详情 页面。 (2)页面跳转后,进入左侧边中的 集群详情 页面。 (3)点击左侧边栏中的 集群监控 ,进入 集群监控 页面。
步骤一:创建Kafka集群实例 概述 本文介绍如何通过消息服务 for Kafka专享版管理控制台创建Kafka专享集群实例。 前提条件 已完成百度智能云账号注册,请参考 注册 和 登录 。 完成实名认证,操作细节请参考 实名认证 ,实名认证之后才可购买消息服务 for Kafka集群。 已创建VPC、子网及可用安全组 具体操作步骤 登录 百度智能云消息服务 for Kafka专享版控制台 。