-----------hadoop編譯

1、編譯環(huán)境

????CentOS6.5 ?64位

????jdk1.7.0_71

????maven-3.2.3

????hadoop2.4.1

2、安裝JDK,maven

????略

3、安裝protoc

????在hadoop2.X版本的編譯時(shí)，需要protoc的支持，hadoop2.4.1需要protoc2.5.0,protoc是google開(kāi)發(fā)的，需要自已下載并安裝。安裝protoc需要先安裝幾個(gè)依賴(lài)包，root用戶(hù)執(zhí)行以下命令即可：

????

????yum install gcc

????yum install gcc-c++

????yum install make

????安裝protoc,如下：

????tar -xvf protobuf-2.5.0.tar.bz2

????cd protobuf-2.5.0

????./configure --prefix=/opt/protoc/

????make && make install

4、安裝findbugs

wget?http://prdownloads.sourceforge.net/findbugs/findbugs-3.0.0.tar.gz?download

5、配置環(huán)境變量

????

#-------------------------------- #protobuf?relate #--------------------------------- export?FINDBUGS_HOME=/home/ocdc/source/findbugs-3.0.0 export?PATH=/home/ocdc/source/protobuf-2.5.0/src:$FINDBUGS_HOME/bin:$PATH #-------------------------------- #Java?related #--------------------------------- export?JAVA_HOME=/home/ocdc/bin/jdk1.7.0_71 export?PATH=$JAVA_HOME/bin:$PATH export?CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar#-------------------------------- #?Maven?related #------------------------------- export?M2_HOME=/home/ocdc/bin/apache-maven-3.2.3 export?PATH=$M2_HOME/bin:$PATH#-------------------------------- #?Scala?related #------------------------------- export?SCALA_HOME=/home/ocdc/bin/scala-2.10.4 export?PATH=$SCALA_HOME/bin:$PATH

6、安裝cmake,openssl-devel,ncurses-devel

????yum install cmake

????yum install openssl-devel

????yum install ncurses-devel

7、maven編譯

????mvn clean package -Pdist,native,docs -DskipTests -Dtar

8、編譯結(jié)果

-----------hive編譯

hive的編譯就簡(jiǎn)單到?jīng)]話(huà)可說(shuō)了，唯一需要注意的就是，在編譯hive的時(shí)候，需要選擇hadoop的版本如下所示：

選擇hadoop1的版本執(zhí)行：

mvn?clean?package?-Phadoop-1?-Pdist?-DskipTests?-Dtar

選擇hadoop2的版本執(zhí)行：

mvn?clean?package?-Phadoop-2?-Pdist?-DskipTests?-Dtar

PS:由于中央倉(cāng)庫(kù)下載依賴(lài)不穩(wěn)定，如果無(wú)法下載依賴(lài)，重新編譯命令即可，因此最好配置maven私服（推薦nexux很好用，網(wǎng)上資料也很多）。為避免out of memory的錯(cuò)誤，建議在編譯時(shí)臨時(shí)增大JVM內(nèi)存，如下

export?MAVEN_OPTS="-Xmx2g?-XX:MaxPermSize=512M?-XX:ReservedCodeCacheSize=512m"

spark1.1.1編譯：

mvn?clean?package?-Pyarn?-Phadoop-2.4?-Pspark-ganglia-lgpl?-Pkinesis-asl?-Phive-0.13.1?-DskipTests?-Dtar ./make-distribution.sh?--name?2.4.1?--with-tachyon?--tgz?-Pspark-ganglia-lgpl?-Pyarn?-Pkinesis-asl?-Phive-0.13.1?-Phive-thriftserver?-Phadoop2.4?-Djava.version=1.6?-Dhadoop.version=2.4.1?-DskipTests

????

轉(zhuǎn)載于:https://blog.51cto.com/chengyanbin/1588184

總結(jié)

以上是生活随笔為你收集整理的hadoop2.4.1源码编译步骤 hive0.13.1编译的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。