服务器端 API 翻译转换:Alluxio支持工业界场景的API接口,例如HDFS API, S3 API, FUSE API, REST API。它能够透明地从标准客户端接口转换到任何存储接口。Alluxio 负责管理应用程序和文件或对象存储之间的通信,从而消除了对复杂系统进行配置和管理的需求。文件数据可以看起来像对象数据,反之亦然。 创建集群 准备数据,请参考 数据准备 。
bos://bucket/dst 注意:使用 CRC 校验拷贝前后的数据,BOS HDFS 需设置 fs.bos.block.size 和源 HDFS 一致,并开启 fs.bos.crc32c.checksum.enable;仅支持 HDFS 的 dfs.checksum.combine.mode=COMPOSITE_CRC 校验算法。
创建 Catalog 基于 Hive Metastore 创建 Catalog 和 Hive Catalog 基本一致,这里仅给出简单示例。
如果不能用 hdfs 协议访问老集群,可以使用 hftp 或者 webhdfs 协议。 复制老集群外部表数据到新集群 此步骤要求所有管理表都在老集群参数 hive.metastore.warehouse.external.dir 设置的目录下,或者统一的目录。
如果不能用 hdfs 协议访问老集群,可以使用 hftp 或者 webhdfs 协议。 7.2 复制老集群外部表数据到新集群 此步骤要求所有管理表都在老集群参数 hive.metastore.warehouse.external.dir 设置的目录下,或者统一的目录。
bin/flume-ng agent -n agent -c conf/ -f ss2bos.properties
用户可以直接从 Hive 访问这些表。
x3C;db_name> 数据库名称 可选参数 1.
从 HDFS 导入一批数据。
mes_and_types 导出示例 导出到开启了高可用的 HDFS 集群 如果 HDFS 开启了高可用,则需要提供 HA 信息,如: Plain Text 复制 1 SELECT c1, c2, c3 FROM tbl 2 INTO