-----------hadoop編譯

1、編譯環境

????CentOS6.5 ?64位

????jdk1.7.0_71

????maven-3.2.3

????hadoop2.4.1

2、安裝JDK,maven

????略

3、安裝protoc

????在hadoop2.X版本的編譯時，需要protoc的支持，hadoop2.4.1需要protoc2.5.0,protoc是google開發的，需要自已下載并安裝。安裝protoc需要先安裝幾個依賴包，root用戶執行以下命令即可：

????

????yum install gcc

????yum install gcc-c++

????yum install make

????安裝protoc,如下：

????tar -xvf protobuf-2.5.0.tar.bz2

????cd protobuf-2.5.0

????./configure --prefix=/opt/protoc/

????make && make install

4、安裝findbugs

wget?http://prdownloads.sourceforge.net/findbugs/findbugs-3.0.0.tar.gz?download

5、配置環境變量

????

#-------------------------------- #protobuf?relate #--------------------------------- export?FINDBUGS_HOME=/home/ocdc/source/findbugs-3.0.0 export?PATH=/home/ocdc/source/protobuf-2.5.0/src:$FINDBUGS_HOME/bin:$PATH #-------------------------------- #Java?related #--------------------------------- export?JAVA_HOME=/home/ocdc/bin/jdk1.7.0_71 export?PATH=$JAVA_HOME/bin:$PATH export?CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar#-------------------------------- #?Maven?related #------------------------------- export?M2_HOME=/home/ocdc/bin/apache-maven-3.2.3 export?PATH=$M2_HOME/bin:$PATH#-------------------------------- #?Scala?related #------------------------------- export?SCALA_HOME=/home/ocdc/bin/scala-2.10.4 export?PATH=$SCALA_HOME/bin:$PATH

6、安裝cmake,openssl-devel,ncurses-devel

????yum install cmake

????yum install openssl-devel

????yum install ncurses-devel

7、maven編譯

????mvn clean package -Pdist,native,docs -DskipTests -Dtar

8、編譯結果

-----------hive編譯

hive的編譯就簡單到沒話可說了，唯一需要注意的就是，在編譯hive的時候，需要選擇hadoop的版本如下所示：

選擇hadoop1的版本執行：

mvn?clean?package?-Phadoop-1?-Pdist?-DskipTests?-Dtar

選擇hadoop2的版本執行：

mvn?clean?package?-Phadoop-2?-Pdist?-DskipTests?-Dtar

PS:由于中央倉庫下載依賴不穩定，如果無法下載依賴，重新編譯命令即可，因此最好配置maven私服（推薦nexux很好用，網上資料也很多）。為避免out of memory的錯誤，建議在編譯時臨時增大JVM內存，如下

export?MAVEN_OPTS="-Xmx2g?-XX:MaxPermSize=512M?-XX:ReservedCodeCacheSize=512m"

spark1.1.1編譯：

mvn?clean?package?-Pyarn?-Phadoop-2.4?-Pspark-ganglia-lgpl?-Pkinesis-asl?-Phive-0.13.1?-DskipTests?-Dtar ./make-distribution.sh?--name?2.4.1?--with-tachyon?--tgz?-Pspark-ganglia-lgpl?-Pyarn?-Pkinesis-asl?-Phive-0.13.1?-Phive-thriftserver?-Phadoop2.4?-Djava.version=1.6?-Dhadoop.version=2.4.1?-DskipTests

????

轉載于:https://blog.51cto.com/chengyanbin/1588184

總結

以上是生活随笔為你收集整理的hadoop2.4.1源码编译步骤 hive0.13.1编译的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。