Hadoop Sqoop 应用案例

环境

• CentOS 6.8 64位 1核 2GB

• JDK 1.7.0_75 64 位

• Hadoop 1.1.2

• Hive 0.12.0

• Mysql 5.6.21

• Sqoop 1.4.5

MySql数据导入到HDFS

• 查看 mysql 中的数据表

mysql -uhive -phive
mysql> show databases;
mysql> use hive;
mysql> show tables;
mysql> select TBL_ID, CREATE_TIME, DB_ID, OWNER, TBL_NAME,TBL_TYPE from TBLS;
+--------+-------------+-------+--------+------------+---------------+
| TBL_ID | CREATE_TIME | DB_ID | OWNER  | TBL_NAME   | TBL_TYPE      |
+--------+-------------+-------+--------+------------+---------------+
|      1 |  1621827317 |     1 | yohann | test       | MANAGED_TABLE |
|      6 |  1625316873 |     1 | yohann | mysql2hive | MANAGED_TABLE |
+--------+-------------+-------+--------+------------+---------------+
2 rows in set (0.00 sec)

• sqoop 列出 mysql 中所有数据库

$ sqoop list-databases --connect jdbc:mysql://hadoop:3306/ --username hive --password hive
information_schema
hive
mysql
performance_schema
test

• 把 hive 数据库 TBLS 表中数据导入到 HDFS

$ sqoop import --connect jdbc:mysql://hadoop:3306/hive --username hive --password hive --table TBLS -m 1

• 查看导出结果

$ hadoop fs -ls /user/yohann/TBLS
Found 3 items
-rw-r--r--   1 yohann supergroup          0 2021-07-04 16:36 /user/yohann/TBLS/_SUCCESS
drwxr-xr-x   - yohann supergroup          0 2021-07-04 16:36 /user/yohann/TBLS/_logs
-rw-r--r--   1 yohann supergroup        120 2021-07-04 16:36 /user/yohann/TBLS/part-m-00000
$ hadoop fs -cat /user/yohann/TBLS/part-m-00000
1,1621827317,1,0,yohann,0,1,test,MANAGED_TABLE,null,null

MySql导出表数据到Hive

• 启动 metastore 和 hiveserver

$ hive --service metastore &
$ hive --service hiveserver &

• 查看启动进程

$ jps
10873 RunJar
10741 RunJar

确保以上进程都存在。

• 导出

$ hadoop fs -rmr /user/yohann/TBLS
$ sqoop import --connect jdbc:mysql://hadoop:3306/hive --username hive --password hive --table TBLS --hive-table MySql2Hive --hive-import -m 1

导出之前，先把刚刚生成的文件夹删掉

• 查看导出结果

$ hive
hive> show tables;
mysql2hive
test
hive> desc MySql2Hive;
tbl_id              	bigint              	None
create_time         	int                 	None
db_id               	bigint              	None
last_access_time    	int                 	None
owner               	string              	None
retention           	int                 	None
sd_id               	bigint              	None
tbl_name            	string              	None
tbl_type            	string              	None
view_expanded_text  	string              	None
view_original_text  	string              	None
Time taken: 0.152 seconds, Fetched: 11 row(s)

登录 hive，在 hive 中查看该表。