2019獨角獸企業重金招聘Python工程師標準>>>

摘要自：http://www.powerxing.com/install-hadoop/
wget http://mirror.bit.edu.cn/apache/hadoop/common/stable/hadoop-2.7.3.tar.gz
wget http://mirror.bit.edu.cn/apache/hadoop/common/stable/hadoop-2.7.3-src.tar.gz

如果你安裝 Ubuntu 的時候不是用的 “hadoop” 用戶，那么需要增加一個名為 hadoop 的用戶。 sudo useradd -m hadoop -s /bin/bash
設置密碼，可簡單設置為 hadoop，按提示輸入兩次密碼：
sudo passwd hadoop
可為 hadoop 用戶增加管理員權限，方便部署，避免一些對新手來說比較棘手的權限問題：
sudo adduser hadoop sudo

先更新一下 apt，后續我們使用 apt 安裝軟件
sudo apt-get update

安裝SSH、配置SSH無密碼登陸
集群、單節點模式都需要用到 SSH 登陸（類似于遠程登陸，你可以登錄某臺 Linux 主機，并且在上面運行命令），Ubuntu 默認已安裝了 SSH client，此外還需要安裝 SSH server：
sudo apt-get install openssh-server
安裝后，可以使用如下命令登陸本機
ssh localhost
輸入 yes 。然后按提示輸入密碼 hadoop
但這樣登陸是需要每次輸入密碼的，我們需要配置成SSH無密碼登陸比較方便。
退出剛才的 ssh，就回到了我們原先的終端窗口，然后利用 ssh-keygen 生成密鑰 ，并將密鑰加入到授權中
exit # 退出剛才的 ssh localhost
cd ~/.ssh/ # 若沒有該目錄，請先執行一次ssh localhost
ssh-keygen -t rsa # 會有提示，都按回車就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授權
此時再用 ssh localhost 命令，無需輸入密碼就可以直接登陸了

安裝Java環境
sudo apt-get install openjdk-7-jre openjdk-7-jdk
安裝好 OpenJDK 后，需要找到相應的安裝路徑，這個路徑是用于配置 JAVA_HOME 環境變量的。執行如下命令：
dpkg -L openjdk-7-jdk | grep '/bin/javac'
vi ~/.bashrc
export JAVA_HOME=JDK安裝路徑
source ~/.bashrc # 使變量設置生效

設置好后我們來檢驗一下是否設置正確： echo $JAVA_HOME # 檢驗變量值 java -version $JAVA_HOME/bin/java -version # 與直接執行 java -version 一樣

安裝 Hadoop 2
Hadoop 2 可以通過 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下載，一般選擇下載最新的穩定版本，即下載 “stable” 下的
將 Hadoop 安裝至 /usr/local/ 中：
sudo tar -zxf hadoop-2.7.3.tar.gz -C /usr/local # 解壓到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.7.3/ ./hadoop # 將文件夾名改為hadoop
sudo chown -R hadoop ./hadoop # 修改文件權限
Hadoop 解壓后即可使用。輸入如下命令來檢查 Hadoop 是否可用，成功則會顯示 Hadoop 版本信息：
cd /usr/local/hadoop
./bin/hadoop version

hadoop@ubuntu64:/usr/local/hadoop$ ./bin/hadoop version Hadoop 2.7.3 Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff Compiled by root on 2016-08-18T01:41Z Compiled with protoc 2.5.0 From source with checksum 2e4ce5f957ea4db193bce3734ff29ff4 This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.7.3.jar

Hadoop單機配置(非分布式)
Hadoop 默認模式為非分布 式模式，無需進行其他配置即可運行。非分布式即單 Java 進程，方便進行調試。
現在我們可以執行例子來感受下 Hadoop 的運行。Hadoop 附帶了豐富的例子（運行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。
在此我們選擇運行 grep 例子，我們將 input 文件夾中的所有文件作為輸入，篩選當中符合正則表達式 dfs[a-z.]+ 的單詞并統計出現的次數，最后輸出結果到 output 文件夾中。

cd /usr/local/hadoop mkdir ./input cp ./etc/hadoop/*.xml ./input # 將配置文件作為輸入文件 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+' cat ./output/* # 查看運行結果 注意，Hadoop 默認不會覆蓋結果文件，因此再次運行上面實例會提示出錯，需要先將 ./output 刪除。 rm -r ./output

轉載于:https://my.oschina.net/kenzheng/blog/994564

總結

以上是生活随笔為你收集整理的Ubuntu 14.04 hadoop单机安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。