数据处理组件拖拽到开发面板之后,将上游的源端插件连接到数据处理组件中。 数据开发组件 对上游源端插件的数据进行数据开发,用户可以使用SQL抽象插件进行数据处理。 开发分析组件和数据处理组件使用流程相同,在源端插件之后,进行数据处理。 目标端插件 将上游处理好的数据写入到目标端插件。且目标端插件需要作为流水线的最后节点。 实时作业支持目标端。用户可以将实时作业,处理加工的数据流接入到目标端。
其主要是帮助PALO以类Unix文件系统接口的方式,访问外部数据源如百度对象存储(BOS)或HDFS上的数据。比如应用于数据导入或者数据导出操作中。 在百度智能云托管的PALO集群中,默认会安装这个组件,您可以通过使用MySQL协议连接到PALO集群后,执行 SHOW BROKER 命令查看。而在私有化部署场景下,该组件可以是一个可选的组件。
配置DTS迁移任务 点击 配置任务 ,进入任务连接配置页。以下以源端为 自建数据存储 ,目标端为 百度智能云数据库 为例进行配置。 配置源端以自建数据存储为例,源端选择您对应的自建实例即可。在本例中,将接入类型选择云服务器BCC,数据类型选择MongoDB,填入对应的实例账号与密码,点击 测试连通性 按钮就能测试源端实例的连通性。
mysql dbUser String 否 数据库访问账号 dts_trans dbPass String 否 数据库访问密码 dbPort dbPort Integer 否 数据库访问端口 3306 dbHost String 否 数据库ip或主机名 192.168.1.1 instanceId String 否 实例ID rdsmfgdti3d53f5 field_whitelist String
ERR_SET_EXTERNAL_SURFACE 505 设置外部渲染异常 不可恢复错误 ERR_RECONNECT_OVER_MAX_COUNT 506 重连接超限50次 不可恢复错误, 需要登出再次登录 ERR_INTERNAL 507 SDK内部未知错误 不可恢复错误,不能重连接 ERR_SO_LATER_DOWNLOADING_FAIL 508 SDK下载SO失败 不可恢复错误,不能重连接
为了把BMR清洗好的数据导入Palo,我们首先需要在Palo预先建立好数据库表。首先,在Palo服务创建一个新集群。 集群创建好以后, Palo提供兼容MySQL的接口,可以直接使用MySQL的相关库或者工具进行连接Palo集群(目前Palo只支持MySQL 5.0以上的客户端,在连接之前请确认您的客户端版本)。以MySQL Workbench为例: 连接Palo集群。
LS0tLS1CRUdJTiBDRVJUSUZJQ3SUJBZ0lVQit0NWJteWcydjVHMHRFcnVEdTdMVWxQWnpNd0RRWUpLb1pJaHZjTkFRRUwKQlFBd1p6RUxNQWtHQTFVRUJoTUNRMDR4RURBT0JnTlZCQWdUQjBKbGFVcHBibWN4RURBT0JnTlZCQWNUQjBKbAphVXBwYm1jeERqQU1CZ05WQkFvVEJXcHdZV0Z6TVJRd0VnWURWUVFMRXd0amJHOTFaRzVoZEdsMlpURU9NQXdHCkExVUVBeE1GYW5CaFlYTXdIaGNOTWpBd09USTRNRFF5TURBd1doY05NalV3T1RJM01EUXlNREF3V2pCbk1Rc3cKQ1FZRFZRUUdFd0pEVGpFUU1BNEdBMVVFQ0JNSFFtVnBTbWx1WnpFUU1BNEdBMVVFQnhNSFFtVnBTbWx1WnpFTwpNQXdHQTFVRUNoTUZhbkJoWVhNeEZEQVNCZ05WQkFzVEMyTnNiM1ZrYm1GMGFYWmxNUTR3REFZRFZRUURFd1ZxCmNHRmhjekNDQVNJd0RRWUpLb1pJaHZjTkFRRUJCUUFEZ2dFUEFEQ0NBUW9DZ2dFQkFOWGl3SllPL3ZKMEY2RjMKUWZQN05YaEJ2ekJqMEdRdndjbnI2MHQ5WFFON1cwNFdQcUs2QStXZ2g2NE9UbWs4WGx4RDFEenEwSjErSWZHRwpWdXF6K0kwWjhDOE1ZTEtCWWRsNnlVME5Ya2x5dzRVSkJobVpyTnV2QnpTOXBFQjRrU00ra1d5cGpHOTJTdkZaCjhYM2g1SGx4SzM4L0VzVUxzTlBYWi9UV2dWSGNGazRMNG9BZ0R6bVYrZnV5dnpBOU90TnMrWCtOanBlRzV2ancKcFlCdm5ubFIwZ3ZmMnB4cnVuOVhJcFVKYlJnWUdBVFhXdXVRUnNER2dRRlQ0R2taczUvbWZUSzcrSno4ZkpDNgpCSDNoRWRGYUJ4UWg3ck9Udzg2Z2E4czlzYlBXUDFZc2tINTlXYnZpM1F5TmdsNkxQMFRsRDZKbE8wS2Qxa0VBClFpZ2lzQWtDQXdFQUFhTkNNRUF3RGdZRFZSMFBBUUgvQkFRREFnRUdNQThHQTFVZEV3RUIvd1FGTUFNQkFmOHcKSFFZRFZSME9CQllFRk9FMzY5b0ZJTnBxRi94aFV1TG5aV0VrRTh0R01BMEdDU3FHU0liM0RRRUJDd1VBQTRJQgpBUUJFQXhIVWQrZm5wWERyVXovS2VEeXk0MWlySGVSRUFobDNIaTI1U3ZmSTd2V2ROUVFBUDlmQmp6UysrQ0hoCmRHY0dZL3YyQWJCdW5kekJpV2tsbXlsWVgzR2Y0ZDArcTFXLzcyNVFXRFN5MjE0V2QvNHFOVCtJSWZXZTFtRlgKWmhLVlh0SjN2RldrUEIyYUo3Mld2M0htWDhZUzdqNmhtakhDYTIwT0RIOGloTjZ1bVZLbWd6T1FMLy9Keksyago0ZHQ3MVFaZVJ4cVlkRXVyMTdGLzdsUlRuRG9WaEFiT3A0aG5uZGVzMEc0RFBCbFcwZkFKbEVNeHlXNkhMT3dGCmJLcjlRekM3Y0Z0Y2hRNmxsVVVobnhCQW9QbXIra2NQcjFEVTRxQ1JOUVIvNUxxSk5YdWIyWm10NkdlN3BkRU8KSmZmbVFMYUVTYmJjaVNHWkRJQlpxOEY5Ci0tLS0tRU5EIENFUlRJRklDQVRFLS0tLS0K
添加 Broker 要让 PALO 的 FE 和 BE 知道 Broker 在哪些节点上,通过 sql 命令添加 Broker 节点列表。
将Hive连接到HBase后,可以通过在Hive中创建外部表对HBase中存储的数据进行访问。 说明: 用户只能将Hive集群连接到单个的HBase集群。 操作步骤 Hive连接到HBase。 通过控制台创建BMR集群,并添加Hive应用。请参考 创建集群 。 通过SSH连接到主节点。请参考 SSH连接到集群 。
数据集成模块中,由于源端数据库或者目的端数据库用户名、密码修改后,客户未及时在EDAP侧更新配置导致的等;数据服务模块中,由于数据源不可用、数据源性能瓶颈、网络环境等原因导致的服务不可用; 因您上传的自定义任务、高危 shell(包含不限于删除重要文件、数据等),高危 SQL(包含不限于删除重要库表数据,修改权限等)等任务造成的故障、损失; 由于客户未遵循百度云官网所展示的产品使用文档或使用建议引起的