《Hadoop实战手册》一1.6 配置Sqoop以支持SQL Server
本節書摘來異步社區《Hadoop實戰手冊》一書中的第1章,第1.6節,作者: 【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 譯者: 傅杰 , 趙磊 , 盧學裕 責編: 楊海玲,更多章節內容可以訪問云棲社區“異步社區”公眾號查看。
1.6 配置Sqoop以支持SQL Server
本節將展示如何配置Sqoop和SQL Server數據庫進行連接。這樣可以允許數據從SQL Server數據庫有效地導入HDFS中。
準備工作
本例子使用了Sqoop V1.3.0版本。
如果你使用的是CDH3版本,Sqoop默認是已經安裝了。如果不是CDH3,你可以通過https://ccp.cloudera.com/display/CDHDOC/Sqoop+Installation找到發行版的說明。
在本節假設你已經啟動了一個Microsoft SQL Server實例,并且能夠與Hadoop集群正常連接。
操作步驟
完成以下步驟配置Sqoop連接Microsoft SQL Server。
1.從http://download.microsoft.com/download/D/6/A/D6A241AC-433E-4CD2-A1CE50177E8428F0/1033/sqljdbc_3.0.1301.101_enu.tar.gz下載Microsoft SQL Server JDBC驅動3.0。該下載包包含了SQL Server JDBC驅動(sqljdbc4.jar)。Sqoop連接關系數據庫是通過JDBC驅動的。
2.解壓縮TAR文件:
gzip -d sqljdbc_3.0.1301.101_enu.tar.gz tar -xvf sqljdbc_3.0.1301.101_enu.tar這將創建一個新的文件夾 sqljdbc_3.0。
3.復制sqljdbc4.jar到$SQOOP_HOME/lib目錄下:
cp sqljdbc_3.0/enu/sqljdbc4.jar $SQOOP_HOME/libSqoop可以訪問sqljdbc4.jar文件,并且可以通過該驅動包訪問SQL Server實例。
4.為Hadoop下載微軟SQL Server連接器:
http://download.microsoft.com/download/B/E/5/BE5EC4FD-9EDA- 4C3F-8B36-1C8AC4CE2CEF/sqoop-sqlserver-1.0.tar.gz.5.解壓縮TAR文件:
gzip -d sqoop-sqlserver-1.0.tar.gz tar -xvf sqoop-sqlserver-1.0.tar這將創建一個新的文件夾sqoop-sqlserver-1.0。
6.設置MSSQLCONNECTORHOME環境變量:
export MSSQL_CONNECTOR_HOME=/path/to/sqoop-sqlserver-1.07.運行安裝腳本:
./install.sh8.導入導出數據可以查看1.4節和1.5節。這兩節的內容對SQL Server同樣適用,只是需要把--connect參數修改為—connectjdbc:sqlserver://:。
工作原理
Sqoop和數據庫之間通過JDBC連接。只要將sqljdbc4.jar添加到$SQOOP_HOME/lib目錄下,Sqoop就可以使用--connect jdbc:sqlserver://:;連接SQL Server數據庫實例。為了使SQL Server與Sqoop有充分的兼容性,修改了一些必要的配置,這些配置可以通過運行install.sh腳本來實現更新。
總結
以上是生活随笔為你收集整理的《Hadoop实战手册》一1.6 配置Sqoop以支持SQL Server的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 《移动App测试的22条军规》—App测
- 下一篇: 常用经典SQL语句大全完整版--详解+实