日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

《Hadoop实战手册》一1.6 配置Sqoop以支持SQL Server

發布時間:2025/5/22 数据库 179 豆豆
生活随笔 收集整理的這篇文章主要介紹了 《Hadoop实战手册》一1.6 配置Sqoop以支持SQL Server 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

本節書摘來異步社區《Hadoop實戰手冊》一書中的第1章,第1.6節,作者: 【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 譯者: 傅杰 , 趙磊 , 盧學裕 責編: 楊海玲,更多章節內容可以訪問云棲社區“異步社區”公眾號查看。

1.6 配置Sqoop以支持SQL Server

本節將展示如何配置Sqoop和SQL Server數據庫進行連接。這樣可以允許數據從SQL Server數據庫有效地導入HDFS中。

準備工作
本例子使用了Sqoop V1.3.0版本。

如果你使用的是CDH3版本,Sqoop默認是已經安裝了。如果不是CDH3,你可以通過https://ccp.cloudera.com/display/CDHDOC/Sqoop+Installation找到發行版的說明。

在本節假設你已經啟動了一個Microsoft SQL Server實例,并且能夠與Hadoop集群正常連接。

操作步驟
完成以下步驟配置Sqoop連接Microsoft SQL Server。

1.從http://download.microsoft.com/download/D/6/A/D6A241AC-433E-4CD2-A1CE50177E8428F0/1033/sqljdbc_3.0.1301.101_enu.tar.gz下載Microsoft SQL Server JDBC驅動3.0。該下載包包含了SQL Server JDBC驅動(sqljdbc4.jar)。Sqoop連接關系數據庫是通過JDBC驅動的。

2.解壓縮TAR文件:

gzip -d sqljdbc_3.0.1301.101_enu.tar.gz tar -xvf sqljdbc_3.0.1301.101_enu.tar

這將創建一個新的文件夾 sqljdbc_3.0。

3.復制sqljdbc4.jar到$SQOOP_HOME/lib目錄下:

cp sqljdbc_3.0/enu/sqljdbc4.jar $SQOOP_HOME/lib

Sqoop可以訪問sqljdbc4.jar文件,并且可以通過該驅動包訪問SQL Server實例。

4.為Hadoop下載微軟SQL Server連接器:

http://download.microsoft.com/download/B/E/5/BE5EC4FD-9EDA- 4C3F-8B36-1C8AC4CE2CEF/sqoop-sqlserver-1.0.tar.gz.

5.解壓縮TAR文件:

gzip -d sqoop-sqlserver-1.0.tar.gz tar -xvf sqoop-sqlserver-1.0.tar

這將創建一個新的文件夾sqoop-sqlserver-1.0。

6.設置MSSQLCONNECTORHOME環境變量:

export MSSQL_CONNECTOR_HOME=/path/to/sqoop-sqlserver-1.0

7.運行安裝腳本:

./install.sh

8.導入導出數據可以查看1.4節和1.5節。這兩節的內容對SQL Server同樣適用,只是需要把--connect參數修改為—connectjdbc:sqlserver://:。

工作原理
Sqoop和數據庫之間通過JDBC連接。只要將sqljdbc4.jar添加到$SQOOP_HOME/lib目錄下,Sqoop就可以使用--connect jdbc:sqlserver://:;連接SQL Server數據庫實例。為了使SQL Server與Sqoop有充分的兼容性,修改了一些必要的配置,這些配置可以通過運行install.sh腳本來實現更新。

總結

以上是生活随笔為你收集整理的《Hadoop实战手册》一1.6 配置Sqoop以支持SQL Server的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。