spark中的累加器accumulator怎么用，相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

累加的結果類型與合并的元素類型相同時，更簡單的可累加值，即僅通過關聯(lián)操作“添加”到的變量，因此可以有效地并行支持。它們可用于實現(xiàn)計數(shù)器（如MapReduce）或求和。Spark本機支持數(shù)值類型的累加器，程序員可以添加對新類型的支持。

通過調(diào)用SparkContext#acculator，從初始值v創(chuàng)建累加器。然后，可以使用Accumulable#+=操作符將集群上運行的任務添加到集群中。但是，它們無法讀取其值。只有驅(qū)動程序才能使用其值方法讀取累加器的值。

下面的解釋器會話顯示用于添加數(shù)組元素的累加器：

scala>valaccum=sc.accumulator(0)accum:spark.Accumulator[Int]=0scala>sc.parallelize(Array(1,2,3,4)).foreach(x=>accum+=x)...10/09/2918:41:08INFOSparkContext:Tasksfinishedin0.317106sscala>accum.valueres2:Int=10

看完上述內(nèi)容，你們掌握spark中的累加器accumulator怎么用的方法了嗎？如果還想學到更多技能或想了解更多相關內(nèi)容，歡迎關注箭頭云行業(yè)資訊頻道，感謝各位的閱讀！

總結

以上是生活随笔為你收集整理的spark中的累加器accumulator怎么用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。