下載

下載解壓Spark2.4.5源碼

下載解壓Maven3.6.2，設置Maven環境變量：

# MAVEN_HOME MAVEN_HOME=/home/iie4bu/app/apache-maven-3.6.2 PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$MAVEN_HOME/bin:$PATH export MAVEN_OPTS="-Xms8g -XX:ReservedCodeCacheSize=2g" export PATH=$PATH

執行source ~/.bashrc使得配置生效。
下載解壓scala-2.11.12，設置環境變量：

# SCALA_HOME SCALA_HOME=/home/iie4bu/app/scala-2.11.12 PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$MAVEN_HOME/bin:$SCALA_HOME/bin:$PATH

第一種方式

./build/mvn -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.15.1 -DskipTests clean package

第二種方式：make-distribution(推薦)

./dev/make-distribution.sh \ --name 2.6.0-cdh5.15.1 \ --pip --r \ --tgz \ -Phadoop-2.6 \ -Phive \ -Phive-thriftserver \ -Pyarn

修改./dev/make-distribution.sh內容：

# 將下面的注釋 #VERSION=$("$MVN" help:evaluate -Dexpression=project.version $@ 2>/dev/null\ # | grep -v "INFO"\ # | grep -v "WARNING"\ # | tail -n 1) #SCALA_VERSION=$("$MVN" help:evaluate -Dexpression=scala.binary.version $@ 2>/dev/null\ # | grep -v "INFO"\ # | grep -v "WARNING"\ # | tail -n 1) #SPARK_HADOOP_VERSION=$("$MVN" help:evaluate -Dexpression=hadoop.version $@ 2>/dev/null\ # | grep -v "INFO"\ # | grep -v "WARNING"\ # | tail -n 1) #SPARK_HIVE=$("$MVN" help:evaluate -Dexpression=project.activeProfiles -pl sql/hive $@ 2>/dev/null\ # | grep -v "INFO"\ # | grep -v "WARNING"\ # | fgrep --count "<id>hive</id>";\ # # Reset exit status to 0, otherwise the script stops here if the last grep finds nothing\ # # because we use "set -o pipefail" # echo -n)# 添加下面的 VERSION=2.4.5 SCALA_VERSION=2.11 SPARK_HADOOP_VERSION=2.6.0-cdh5.15.1 SPARK_HIVE=1#export MAVEN_OPTS="${MAVEN_OPTS:--Xmx2g -XX:ReservedCodeCacheSize=1g}" export MAVEN_OPTS="${MAVEN_OPTS:--Xmx8g -XX:ReservedCodeCacheSize=2g}"

修改pom.xml文件內容：添加倉庫：

<repository><id>cloudera</id><name>cloudera repository</name><url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> </repository>

如果在編譯過程中，看到的異常信息不太懂，可以在編譯命令后面添加 -X，就能看到更詳細的編譯信息。

總結

以上是生活随笔為你收集整理的spark2.4.5源码编译成hadoop-2.6.0-cdh5.15.1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。