利用Sqoop将MySQL海量测试数据导入HDFS和HBase

本篇文章向大家介绍《利用Sqoop将MySQL海量测试数据导入HDFS和HBase》，主要包括MySQL、hbase、sqoop、hdfs，具有一定的参考价值，需要的朋友可以参考一下。

声明：作者原创，转载注明出处。

一、安装Sqoop

1、下载sqoop,解压、文件夹重命名

wget http://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

tar -zxvf sqoop-1.4.6.bin_hadoop-2.0.4.alpha.tar.gz  -C /root/hadoop/

mv sqoop-1.4.6.bin_hadoop-2.0.4.alpha sqoop-1.4.6

2、配置环境变量

vim /etc/profile

export SQOOP_HOME=/root/hadoop/sqoop-1.4.6

export PATH = $PATH:$SQOOP_HME/bin

3、验证

若正常显示Sqoop版本信息，则安装配置成功：

[root@localhost ~ ] # sqoop version

二、创建数据库和表

安装MySql后，创建测试数据库和测试表。

数据库名：test

表结构：point(pointId int(10) PRIMARYKEY,pointName varchar(16),pointValue int(10))

三、shell脚本生成测试数据

编写Shell脚本，此处的插入语句需要根据所创建的表结构来修改：

#！/bin/bash
i=1;
MAX_INSERT_ROW_COUONT=$1;
while(( $i 

上述脚本生成测试数据速度很慢，笔者生成1000万条数据有如怀胎十月，欢迎建议，感谢！

四、MySql数据导入

MySQL作为数据源时，Sqoop需要依赖MySQL数据库连接驱动包，下载地址：https://dev.mysql.com/get/Dow...

下载后解压，将mysql-connector-java-5.1.45文件夹下的

mysql-connector-java-5.1.44-bin.jar

$SQOOP_HOME/lib

1、导入HDFS

sqoop import --connect jdbc:mysql://localhost:3306/test --username hive --password hive  --table 
point

参数解析：

import：表示从传统数据库导入数据到 HDFS/HIVE/HBASE等；

--connect：建立数据库连接；

jdbc:mysql://localhost:3306/test：使用jdbc方式连接mysql数据库，数据库名为test；

--username：指定数据库用户名；

--password：指定数据库密码；

--table：指定表名

注意：

a)HDFS输出目录不能已经存在；

b)没有指定-m或者splite-by时，即没有指定并行度时，要导入的表必须有主键，否则会出错。

c)导入到指定目录：sqoop import --connect jdbc:mysql://localhost:3306/test --username hive --password hive --table point --target-dir /directory

如果没有指定输出目录，默认在/user/root/下创建一个与表名一致的子目录作为输出目录，导入操作执行后，查看HDFS中是否有导入的文件：

hdfs dfs -ls /user/root/point/

2、导入HBase

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password root --table 
point --hbase-table HPoint --column-family info --hbase-row-key pointId --hbase-create-table

参数解析：

--hbase-table：指定导入到HBase数据库中某表；

--column-family：指定列族名；

--hbase-row-key：指定rowKey；

--hbase-create-table：表示按照参数创建HBase中的表；

最后，欢迎指正。喜欢的话，点个赞呗，请你吃苹果。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于数据库的相关知识，也可关注golang学习网公众号。