在cygwin環(huán)境中填寫路徑信息時(shí)務(wù)必注意將“\”替換為“/”。

hadoop文件夾名稱不能包含“-”，比如“hadoop-2.4.0”會(huì)出錯(cuò)。

在cygwin環(huán)境中盡管“C:\abc”和“/cygdrive/c/abc”都可以被正確識(shí)別，但某些軟件會(huì)將前者識(shí)別為相對(duì)路徑，從而出現(xiàn)錯(cuò)誤。所以請(qǐng)盡可能按后一種方式配置路徑。

>> 找不到或無(wú)法加載主類 org.apache.hadoop.util.RunJar

在 Cygwin環(huán)境中，通過(guò)hadoop執(zhí)行Jar包時(shí)會(huì)提示如下錯(cuò)誤信息：

錯(cuò)誤: 找不到或無(wú)法加載主類 org.apache.hadoop.util.RunJar

問(wèn)題分析：原因是因?yàn)閔adoop的CLASSPATH沒有被正確設(shè)置。

解決辦法：在~/.bashrc 文件中增加如下命令：

export HADOOP_CLASSPATH=$(cygpath -pw $(HADOOP_PATH classpath)):$HADOOP_CLASSPATH

注意，上面命令行中的“HADOOP_PATH”請(qǐng)?zhí)鎿Q成真實(shí)的可執(zhí)行hadoop文件的路徑。(如：/cygdrive/e/hadoop/bin/hadoop)

>> Failed to locate the winutils binary in the hadoop binary path

Microsoft Windows SDK for Windows 7 and .NET Framework 3.5 SP1(可以從Install Instructions中直接下載ISO安裝包):

http://www.microsoft.com/en-us/download/details.aspx?id=3138

Microsoft Windows SDK for Windows 7 and .NET Framework 4(可以從Install Instructions中直接下載ISO安裝包):

http://www.microsoft.com/en-us/download/details.aspx?id=8279

>> Unable to load native-hadoop library for your platform

解決辦法：在Windows環(huán)境變量Path中增加“%HADOOP_HOME%\bin”

通常，在修改環(huán)境變量Path后，即使重新連接SSH，修改后的環(huán)境變量也不會(huì)生效。此時(shí)可重啟Windows服務(wù)“CYGWIN sshd”或重啟操作系統(tǒng)。

>> 如何設(shè)置s3文件系統(tǒng)的Region/Endpoint信息

在項(xiàng)目源代碼根路徑添加文件：jets3t.properties，并在文件中添加配置項(xiàng)：

s3service.s3-endpoint=s3.cn-north-1.amazonaws.com.cn

>> failed on connection exception: java.net.ConnectException: Connection refused

dd

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的hadoopsdk使用_hadoop部署使用问题及解决的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。