編譯spark源碼并導入到IDEA中

一、 目的

1． 根據(jù)需要自定義編譯spark相應的模塊
2． 修改spark源碼并重新編譯spark

二、 環(huán)境需求

1． 操作系統(tǒng)為CentOS6.x 64bit，安裝了桌面
2． 內(nèi)存4G以上最佳
3． 下載IDEA的Linux版本，用于修改Spark源碼

三、 步驟

1． 安裝JDK
2． 安裝Maven
3． 下載spark源碼
教學中會使用spark的1.6.1版本和1.3.1版本，需要下載這兩版本的源碼
4． 解壓源碼包
tar -zxvf spark-1.6.1.tgz -C /usr/local/src/
5． 用Maven編譯源碼

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" cd /usr/local/src/spark-1.6.1/ mvn clean package -Phadoop-2.6 -Dhadoop.version=2.6.4 -Phive -Phive-thriftserver -Pyarn -DskipTests

注意：由于編譯過程Maven需要下載依賴，編譯的所在機器必須可以訪問網(wǎng)絡，甚至需要翻墻才可以編譯成功，我已經(jīng)下載好了編譯所需要的Maven依賴，只需要將其上傳到Linux系統(tǒng)上，然后解壓到當前用戶的.m2目錄即可
tar -zxvf maven_repo.tgz -C ~/.m2
然后在執(zhí)行編譯
6． 將需要修改的Spark模塊導入到IDEA中
1. 點擊導入project

2. 選擇要導入的模塊，然后點擊OK

3. 選擇導入Maven項目，然后點擊next

4. 配置JDK

5. 點擊next和finish即可

6. 修改spark的源碼，然后編譯打包
./make-distribution.sh –tgz -Phadoop-2.6 -Dhadoop.version=2.6.4 -Phive -Phive-thriftserver -Pyarn -DskipTests

---

CentOS6.7-64bit編譯spark-1.6.1：

tar -zxvf spark-1.6.1.tgz -C /usr/local/src/ cd /usr/local/src/spark-1.6.1/export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"mvn clean package -Phadoop-2.6 -Dhadoop.version=2.6.4 -Phive -Phive-thriftserver -Pyarn -DskipTests./make-distribution.sh --tgz -Phadoop-2.6 -Dhadoop.version=2.6.4 -Phive -Phive-thriftserver -Pyarn -DskipTests

---

CentOS6.7-64bit編譯spark-1.3.1

cd spark-1.3.1export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"mvn clean package -Phadoop-2.6 -Dhadoop.version=2.6.4 -Phive -Phive-thriftserver -Pyarn -DskipTests./make-distribution.sh --tgz -Phadoop-2.6 -Dhadoop.version=2.6.4 -Phive -Phive-thriftserver -Pyarn -DskipTests

總結(jié)

以上是生活随笔為你收集整理的spark的源码编译的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。