Sqoop简介

本样例场景是：通过Sqoop将RDS上的数据导入Hive，Hive中的数据表的location为BOS路径，Hive数据表的partition为dt（string），根据dt指定日期，区分每一天的导入数据。

Sqoop是用来将Hadoop和关系型数据库中的数据相互转移的工具，可通过Hadoop的MapReduce将关系型数据库（MySQL、Oracle、Postgres等）中的数据导入到HDFS中，也可以将HDFS的数据导进到关系型数据库中。实现过程如下：

1. 读取要导入数据的表结构，生成运行类，默认是QueryResult，打成jar包，然后提交给Hadoop。

2. Hadoop根据作业要求通过MapReduce来执行Import命令：

   1. 切分数据，即DataSplit。
   2. 写入范围，以便读取。
   3. 读取写入的范围。
   4. 创建RecordReader从数据库中读取数据。
   5. 创建Map。
   6. RecordReader一行一行从关系型数据库中读取数据，设置好Map的Key和Value，交给Map。
   7. 运行map。最后生成的Key是行数据。

Sqoop导入数据

您可通过sqoop把关系型数据库RDS中的数据导入到BOS、HDFS、HBase或Hive中。具体操作如下：

从RDS关系型数据库导入数据至BOS中

1. 通过SSH连接到主节点，请参考SSH连接到集群。
2. 输入命令：su hdfs。切换到HDFS用户。

3. 执行以下格式的命令：sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --target-dir XX

   示例：sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --target-dir bos://abc/sqooptest

4. 执行后，可至bos中查看执行结果。BOS上查看执行结果的示例如下：

从RDS关系型数据库导入数据至HDFS中

1. 执行从RDS关系型数据库导入数据至BOS中的步骤1至2。

2. 执行以下格式的命令：sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --target-dir XX

   示例：sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --target-dir /user/hdfs/sqooptest

3. 执行后，可至HDFS中查看执行结果。

参数	参数说明
address和port	RDS数据库实例的地址和端口号。请至RDS实例的基本信息中获取，可参考连接RDS实例。
db_name	需导入数据所在数据库的名称。如需创建关系型数据库RDS实例，请参考创建数据库。
table_name	需导入数据的数据表的名称。如需创建数据表，请先登录到关系型数据库RDS实例中创建，请参考连接RDS实例。
--username和--password	需导入数据所在数据库的账号和密码。请至RDS实例中获取信息，请参考创建账号。
--target-dir	数据导入的目的地址，即BOS或HDFS的路径。 注意：若指定BOS路径，则路径中所指定的目录不能在bos上存在，例如，导入路径bos://test/sqooptest中的sqooptest目录在bos上必须不存在。

从RDS关系型数据库导入数据至HBase中

1. 通过SSH连接到主节点，请参考SSH连接到集群。
2. 输入命令：su hdfs。切换到HDFS用户。

3. Sqoop导入数据到HBase有两种情况:

   • 导入数据到HBase已经存在的表中，执行以下格式的命令：sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --hbase-table hbase_table_name --column-family hbase_column_family --hbase-row-key row_key。示例：sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --hbase-table sqoop_hbase -- column-family message1 --hbase-row-key id。
   • 导入数据到HBase中不存在的表中，执行以下格式的命令：sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --hbase-table hbase_table_name --column-family hbase_column_family --hbase-row-key row_key --hbase-create-table。示例：sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --hbase-table sqoop_hbase -- column-family message1 --hbase-row-key id --hbase-create-table。

4. 执行后，可至HBase中查看执行结果，执行结果示例如下:

   hbase(main):003:0>scan "sqoop_hbase"
   ROW		COLUMN+CELL
    1		column=message1:address,timestamp=1439794756361,value=shanghai
    1		column=message1:favor,timestamp=1439794756361,value=lanqiu
    1		column=message1:name,timestamp=1439794756361,value=xiaoming
    1		column=message1:sex,timestamp=1439794756361,value=1
    1		column=message1:address,timestamp=1439794756361,value=beijing
    1		column=message1:favor,timestamp=1439794756361,value=pingpong
    1		column=message1:name,timestamp=1439794756361,value=xiaohong
    1		column=message1:sex,timestamp=1439794756361,value=2

参数	参数说明
address和port	RDS数据库实例的地址和端口号。请至RDS实例的基本信息中获取，可参考连接RDS实例。
db_name	数据源所在数据库的名称。如需创建关系型数据库RDS实例，请参考创建数据库。
table_name	数据源在所数据表的名称。如需创建数据表，请先登录到关系型数据库RDS实例中创建，请参考连接RDS实例。
--username和--password	数据源所在数据库的账号和密码。请至RDS实例中获取信息，请参考创建账号。
--hbase-table	数据导入的目的数据表的表名，即HBase中数据表的表名。
--column-family	目的数据表的列簇，即HBase中数据表的列簇。 注意：sqoop一次只能指定一个列簇。
--hbase-row-key	数据源所在RDS数据表中作为hbase row key的字段。

从RDS关系型数据库导入数据至Hive中

1. 通过SSH连接到主节点，请参考SSH连接到集群。
2. 输入命令：su hdfs。切换到HDFS用户。

3. Sqoop导入数据到Hive有三种情况:

   • Hive中不存在与关系型数据库RDS同名的数据表，执行以下格式的命令：sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --hive-import。示例：示例：sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --hive-import。
   • 默认情况下，sqoop会将hive中的表名设定为导入数据的数据表名，如不想使用默认表名，使用--hive-table指定新数据表，执行以下格式的命令：sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --hive-import --hive-table XX。示例：sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --hive-import --hive-table sqoop_hive。
   • Hive中存在与关系型数据库RDS同名的数据表，需要通过--hive-table指定数据表，并且加上--hive-overwrite参数，执行以下格式的命令：sqoop import --connect jdbc:mysql://address:port/db_name --table table_name --username XX --password XX --hive-import --hive-table XX --hive-overwrite。使用RDS数据库中的另一张表test_export，指定hive中已经存在的表sqoop_hive。示例：sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --hive-import --hive-table sqoop_hive -- hive-overwirte。

4. 执行后，可至Hive中查看执行结果，执行结果示例如下：

   hive>select * from test;
   OK
   1	xiaoming	1	shanghai	lanqiu
   2	xiaohong	2	beijing		pingpong

参数	参数说明
address和port	RDS数据库实例的地址和端口号。请至RDS实例的基本信息中获取，可参考连接RDS实例。
db_name	数据源所在数据库的名称。如需创建关系型数据库RDS实例，请参考创建数据库。
table_name	数据源在所数据表的名称。如需创建数据表，请先登录到关系型数据库RDS实例中创建，请参考连接RDS实例。
--username和--password	数据源所在数据库的账号和密码。请至RDS实例中获取信息，请参考创建账号。
--hive-import	导入数据至hive中。
--hive-table	数据导入的目的数据表的表名，即Hive中数据表的表名。
--hive-overwrite	覆盖Hive中与关系型数据库RDS同名的数据表。注意：如果将非INT类型转换为INT类型，导入数据可能不正确。

Sqoop导出数据

您可通过Sqoop把BOS或HDFS的数据导出至关系型数据库RDS中。具体操作如下：

从BOS中导出数据至RDS关系型数据库

1.在关系型数据库RDS中创建相应的数据表，请注意数据表字段类型与导出数据需要一致，否则在导出过程中可能出现异常。数据需要连接到RDS数据库进行创建，请参考连接RDS实例。

2. 通过SSH连接到主节点，请参考SSH连接到集群。
3. 输入命令：su hdfs。切换到HDFS用户。
4. 执行命令：sqoop export --connect jdbc:mysql://address:port/db_name --table export_table_name --username XX --password XX --export-dir XX

示例：sqoop export --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --export-dir bos://abc/sqooptest

5.执行后，在RDS关系数据库PHP Admin界面可以看到执行结果，如下图所示：

从HDFS中导出数据至RDS关系型数据库

1.执行从BOS中导出数据至RDS关系型数据库的步骤1至3。 2.执行命令：sqoop export --connect jdbc:mysql://address:port/db_name --table export_table_name --username XX --password XX --export-dir XX

示例：sqoop import --connect jdbc:mysql://mysql56.rdsmiy5q77jfaqp.rds.bj.baidubce.com:3306/sqoop --table test --username sqoop --password sqoop_123 --export-dir /user/hdfs/sqooptest

3.执行从BOS中导出数据至RDS关系型数据库的步骤5。

参数	参数说明
address和port	RDS数据库实例的地址和端口号。请至RDS实例的基本信息中获取，可参考连接RDS实例。
db_name	需导出数据所在数据库的名称。如需创建关系型数据库RDS实例，请参考创建数据库。
table_name	需导出数据的数据表的名称。如需创建数据表，请先登录到关系型数据库RDS实例中创建，请参考连接RDS实例。
--username和--password	需导出数据所在数据库的账号和密码。请至RDS实例中获取信息，请参考创建账号。
--export-dir	数据导出的目的地址，即BOS或HDFS的路径。