使用IDEA運行Spark程序

1.安裝IDEA

從IDEA官網下載Community版本，解壓到/usr/local/idea目錄下。

tar –xzf ideaIC-13.1.4b.tar.gz

mv idea-IC-135.1230/ /usr/local/idea

為了方便使用其bin目錄下的命令，把它配置在“/etc/profile”目錄下。

export PATH=$PATH:/usr/local/idea/ idea-IC-135.1230/bin

2.安裝Scala插件

1. 在終端輸入idea.sh進入如下界面：

2. 點擊”Configure”進入IDEA的配置界面：

3. 選擇“Plugins”,進入插件安裝界面：

4. 點擊左下角的“Install JetBrains plugin”選項進入如下界面在左上方的輸入框輸入“scala”來查找scala插件，點擊右側的“Install plugin”開始下載插件：

5. 安裝完后重啟IDEA:

3.使用scala SBT工程

1. 重啟之后進入如下界面，選擇“Create New Project”,選擇左側列表中的“Scala”選項，為了方便以后的開發，選擇右側的“SBT”選項：

?

2. 設置scala工程的名稱和目錄，點擊Finish：

3. 此時發現沒有設置Java的JDK路徑，點擊進入ProjectStructure目錄，點擊New，選擇JDK路徑后，關閉后重新打開項目：

4. 此時IDEA會智能的幫助我們構建SBT工具，IDEA自動完成SBT工具的安裝需要一段時間（1-2分鐘），SBT會自動幫我們建好一些目錄：

5. 點擊src下的main下的scala在彈出的“New”下選擇“Scala Class，輸入文件名稱并選擇類型:

6. 寫入代碼：

7. 右擊代碼區點擊運行，第一次運行scala程序會有點緩慢：

8. 運行的結果如下：

4.搭建Spark運行環境

1.導入Spark的包，依次點擊File -> Project Structure ->Libraries ->點擊“+”號 ->選擇Java -> 選擇spark lib目錄下的assembly包

IDEA工作完后發現Spark的jar包導入到我們的工程中

?

5.運行Spark程序

1.我們這里采用standalone模式運行wordcount作代碼演示。數據從hdfs讀取，代碼如下。

2. 下面描述如何打jar包：

配置路徑和包名

之后便可在集群上運行spark程序。

注：每次修改代碼后都要rebuild jar包。

轉載于:https://www.cnblogs.com/wuwuwu/p/6162616.html

總結

以上是生活随笔為你收集整理的使用IDEA运行Spark程序的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。