日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Spark RDD中cache和persist的区别

發布時間:2024/1/17 编程问答 36 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Spark RDD中cache和persist的区别 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

轉自:http://www.ithao123.cn/content-6053935.html

通過觀察RDD.scala源代碼即可知道cache和persist的區別:

def?persist(newLevel: StorageLevel): this.type = {
  if (storageLevel != StorageLevel.NONE && newLevel != storageLevel) {
    throw new UnsupportedOperationException(?"Cannot change storage level of an RDD after it was already assigned a level")
  }
  sc.persistRDD(this)

  sc.cleaner.foreach(_.registerRDDForCleanup(this))
  storageLevel = newLevel
  this
}

/** Persist this RDD with the default storage level (`MEMORY_ONLY`). */
def?persist(): this.type = persist(StorageLevel.MEMORY_ONLY)

?

/** Persist this RDD with the default storage level (`MEMORY_ONLY`). */
def?cache(): this.type = persist()

?

?

?

?

?

?

?

?

?

可知:

1)RDD的cache()方法其實調用的就是persist方法,緩存策略均為MEMORY_ONLY;

2)可以通過persist方法手工設定StorageLevel來滿足工程需要的存儲級別;

3)cache或者persist并不是action;

附:cache和persist都可以用unpersist來取消

總結

以上是生活随笔為你收集整理的Spark RDD中cache和persist的区别的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。