spark 筆記 1: 如何著手

• 必讀：從官方的開發者頁面著手，包括如何構建spark以及編碼規范（強烈建議讀讀編程規范）等；https://cwiki.apache.org/confluence/display/SPARK/Contributing+to+Spark
  
• 必讀： 官方文檔簡介：http://spark.apache.org/docs/latest/，以及這里的所有超鏈接都應該看一遍。應該有個印象；
• 必讀： RDD的論文：http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf?
• 必做： 搭建spark的本地環境，編譯、打包wordCount程序使其正常跑起來；不要僅僅使用spark-shell，要使用正常的提交；google一下，這個例子相關的資料太多了；強烈建議使用IDEA+MAVEN（不用sbt是因為國內使用sbt過程中一些依賴下載卡死。。）
• 可選：使用spark的API，編寫一些簡單的例子執行；主要是熟悉spark的API；
• 如果不熟悉scala，讀：http://www.tutorialspoint.com/scala/scala_access_modifiers.htm? ，然后https://twitter.github.io/scala_school/?。強烈不建議中文的資料，因為當前的spark中文資料比較少，而且很多屬于的翻譯不規范。。
• 可選： 如果使用CHD集群，強烈建議跟著官方的入門example走一遍：http://blog.cloudera.com/blog/2014/04/how-to-run-a-simple-apache-spark-app-in-cdh-5/?

From WizNote

posted on 2015-01-14 02:17 過雁 閱讀(...) 評論(...) 編輯 收藏

轉載于:https://www.cnblogs.com/zwCHAN/p/4223021.html

總結

以上是生活随笔為你收集整理的spark 笔记 1: 如何着手的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。