問題1.0.0.0.0.8032
這種問題一般是自己配置出錯了，仔細檢查前面的配置信息（從前到后，即使是前面配置的，也很可能當前錯誤是由它造成的，因為前面的運行案例都沒有使用到這個配置信息），包括字母出錯都可能導致這種情況。檢查完成之后再重新啟動一次集群。不要去嘗試改變yarn集群配置(比如在yarn-site.xml中加上master:8032…)，只要你之前yarn是正常啟動了的，后面一般都不會修改yarn來糾正錯誤。除非確實該軟件需要配置yarn時（如hadoop）.
問題2.idea編輯java程序包出錯
當idea碰到不能代碼補全和提示什么地方出錯了時，很可能是你打開了省電模式。解決：file->power save mode(點擊讓他關閉即可）
問題3.sbt速度慢，倉庫換華為云也不行
sbt打包文件時，如果是剛開始使用，使用時需要下載一些編譯和運行需要的源文件，因為最初訪問的是國外的倉庫，所以其下載非常慢，之后查看資料：將下載的倉庫改為華為云，但是還是非常慢。 解決：將倉庫改為阿里云

$ cd ~ $ mkdir .sbt #如果該目錄已經存在，就不用創建了 $ cd .sbt $ vim repositories #使用vim編輯器創建repositories文件，在文件中添加如下內容[repositories] local aliyun: https://maven.aliyun.com/nexus/content/groups/public/ typesafe: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly sonatype-oss-releases maven-central sonatype-oss-snapshots#修改SBT配置文件。 $ vim /usr/local/sbt/conf/sbtopts # 在末尾新增如下一行 -Dsbt.override.build.repos=true

問題4.idea代碼引入hdfs =>textfile
hdfs引入正確格式：hdfs://node1:8020/test/input

總結

以上是生活随笔為你收集整理的spark实验遇到的问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。