在先前的幾篇隨筆中已經介紹了Hadoop、Zookeeper、Hbase的分布式框架搭建方案，目前已經搭建完成了一個包含11個節點的分布式集群。而對于HBase數據庫的使用僅限于測試性質的增刪改查指令，為了進一步熟悉分布式框架的使用，本文介紹將已有的數據從關系型數據庫SQL Server中導入到HBase中的方法。

要完成從關系型數據庫到HBase數據的遷移，我們需要使用Sqoop工具，Sqoop是Apache的一個獨立項目，設計目的即是在Hadoop(Hive)和傳統數據庫(MySQL、postgresql)之間進行數據的傳遞。Sqoop工具基于數據倉庫工具Hive，通過Hive來將數據查詢轉換成MapReduce任務實現數據的傳遞。因此，要完成本次數據的遷移，我們需要以下幾個準備：

④Connector between SQL Server and Sqoop：sqoop-sqlserver-1.0.tar.gz

======================以下所有操作均在Master主機上并且以root用戶執行======================

1、安裝Hive

①建立hive目錄

cd /home

mkdir hive

②解壓安裝包(安裝包移至/home/hive下)

tar -zxvf apache-hive-2.1.1-bin.tar.gz

③設置環境變量

vi /etc/profile

追加以下：

export HIVE_HOME=/home/hive/apche-hive-2.1.1-bin

export PATH=$HIVE_HOME/bin:$PATH

export PATH

追加以下：

export HCAT_HOME=$HIVE_HOME/hcatalog

④使配置生效

source /etc/profile

2、安裝sqoop

①建立sqoop目錄

cd /home

mkdir sqoop

②解壓安裝包(安裝包移至/home/sqoop下)

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

③設置環境變量

vi /etc/profile

追加以下：

export SQOOP_HOME=/home/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha

export SQOOP_CONF_DIR=$SQOOP_HOME/conf

export PATH=$SQOOP_HOME/bin:$PATH

export PATH

④使配置生效

source /etc/profile

3、配置JDBC

①解壓(位置隨意)

tar -zxvf sqljdbc_3.0.1301.101_enu.atr.gz

②復制jdbc到sqoop下

cp sqljdbc_3.0/enu/sqljdbc4.jar /home/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib

4、配置SQL Server sqoop Connector

①解壓(位置隨意，這里是/home)

tar -zxvf sqoop-sqlserver-1.0.tar.gz

②設置環境變量

vi /etc/profile

追加以下：

export MSSQL_CONNECTOR_HOME=/home/sqoop-sqlserver-1.0/

配置生效：

source /etc/profile

③配置到sqoop

cd sqoop-sqlserver-1.0

./install.sh

5、 配置sqoop

存在這部分工作的原因是sqoop的默認配置會有一些我們不需要用到的東西，在其配置文件$SQOOP_HOME/bin/configure-sqoop文件中，定義了許多需要預先配置的參數與環境，有些我們已經配置完成，但是另外有些是不需要用到的(目前還沒意識到有什么作用)，因此，為了防止運行時檢查配置不通過，我們直接的處理辦法就是取消這部分的配置檢查。

注釋ACCUMULO相關配置：在configure-sqoop文件中，注釋掉與ACCUMULO_HOME相關的所有命令行，并保存退出。

6、目前的環境變量

值得注意的是，之前并沒有加入HBase的環境變量，在這里是需要把HBase相關的環境變量加入的。

#/etc/profile

#System wide environment and startup programs, for login setup#Functions and aliases go in /etc/bashrc

#It's NOT a good idea to change this file unless you know what you#are doing. It's much better to create a custom.sh shell script in#/etc/profile.d/ to make custom changes to your environment, as this#will prevent the need for merging in future updates.

pathmunge () {

case":${PATH}:" in

*:"$1":*)

;;*)if [ "$2" = "after"] ; then

PATH=$PATH:$1

elsePATH=$1:$PATHfi

esac

}if [ -x /usr/bin/id ]; thenif [ -z "$EUID"]; then#ksh workaround

EUID=`id -u`

UID=`id -ru`

fi

USER="`id -un`"

LOGNAME=$USER

MAIL="/var/spool/mail/$USER"fi

# Path manipulation

if ["$EUID"="0"]; then

pathmunge /sbin

pathmunge /usr/sbin

pathmunge /usr/local/sbin

else

pathmunge /usr/local/sbin after

pathmunge /usr/sbin after

pathmunge /sbin after

fi

HOSTNAME=`/bin/hostname 2>/dev/null`

HISTSIZE=1000

if ["$HISTCONTROL"="ignorespace"] ; then

export HISTCONTROL=ignoreboth

else

export HISTCONTROL=ignoredups

fi

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL

# By default, we want umask to get set. This sets it for login shell

# Current threshold for system reserved uid/gids is 200

# You could check uidgid reservation validity in

# /usr/share/doc/setup-*/uidgid file

if [ $UID -gt 199 ] && ["`id -gn`"="`id -un`"]; then

umask 002

else

umask 022

fi

for i in /etc/profile.d/*.sh ; do

if [ -r"$i"]; then

if ["${-#*i}" != "$-" ]; then

. "$i"

else."$i" >/dev/null 2>&1fi

fi

done

unset i

unset-fpathmunge

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131.x86_64

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin#hadoop

export HADOOP_HOME=/home/hadoop/hadoop-2.7.3export PATH=$PATH:$HADOOP_HOME/sbin

export PATH=$PATH:$HADOOP_HOME/bin#zookeeper

export ZOOKEEPER_HOME=/home/zookeeper/zookeeper-3.4.6/export PATH=$ZOOKEEPER_HOME/bin:$PATHexport PATH#HBase

export HBASE_HOME=/home/hbase/hbase-1.2.4export PATH=$HBASE_HOME/bin:$PATHexport PATH#hive

export HIVE_HOME=/home/hive/apache-hive-2.1.1-bin

export PATH=$HIVE_HOME/bin:$PATHexport PATH

export HCAT_HOME=$HIVE_HOME/hcatalog#sqoop

export SQOOP_HOME=/home/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha

export SQOOP_CONF_DIR=$SQOOP_HOME/conf

export PATH=$SQOOP_HOME/bin:$PATHexport PATH

export MSSQL_CONNECTOR_HOME=/home/sqoop-sqlserver-1.0/

7、數據遷移實驗

在執行遷移命令之前，需要在Hbase中建立好對應的表

#hbase shell

進入hbase shell后執行

>create 'test', 'cf'

然后在Terminal中執行

#sqoop import --connect 'jdbc:sqlserver://;username=;password=;database=' --table --hbase-table --column-family --hbase-row-key

需要注意：

①如果SQL Server的表是正常的單一主鍵的表結構，那么可以直接指定hbase-row-key執行上述命令，此時該命令會默認以多個mapreduce任務執行該指令

②如果SQL Server的表是聯合主鍵，那么這樣導入就會存在一個問題，無法根據主鍵分解查詢任務，也就沒有辦法進行MapReduce，那么此時必須指定參數 '-m 1'只用一個mapreduce任務

③針對沒有主鍵的情況，若數據量巨大，必須分為多個mapreduce任務，那么需要找到一個拆分字段，從而hive可以根據該字段拆分任務。此時我們須在導入指令中添加'--split-by '

在我實際的操作中，SQL Server中的表結構是聯合主鍵，第一次導入表中100條數據記錄，根據這篇博客的介紹，配置了$SQOOP_HOME/conf/sqoop-site.xml，我指定了'--hbase-row-key ,'，并指定'-m 1'，導入數據成功。(耗時22sec)

第二次嘗試將數據庫中的近160W條數據記錄導入到HBase中，添加參數'--split-by '，并指定'-m 12'，數據同樣導入成功。(耗時17min25sec)

8、存在問題

對sqoop拆分任務的理解仍然不夠深入，自己完成的實驗雖然成功，但是并沒有做對比實驗確定真正的影響因素

9、參考文章

參考鏈接

總結

以上是生活随笔為你收集整理的hbase 导入mysql_HBase导入SQL Server数据库数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。