RDD的重要內部屬性　　

?

?

通過 RDD 的內部屬性，用戶可以獲取相應的元數據信息。通過這些信息可以支持更復雜的算法或優化。
1）分區列表：通過分區列表可以找到一個 RDD 中包含的所有分區及其所在地址。
2）計算每個分片的函數：通過函數可以對每個數據塊進行 RDD 需要進行的用戶自定義函數運算。
3）對父 RDD 的依賴列表：為了能夠回溯到父 RDD，為容錯等提供支持。
4）對 key-value pair 數據類型 RDD 的分區器，控制分區策略和分區數。通過分區函數可以確定數據記錄在各個分區和節點上的分配，減少分布不平衡。
5）每個數據分區的地址列表（如 HDFS 上的數據塊的地址）。如果數據有副本，則通過地址列表可以獲知單個數據塊的所有副本地址，為負載均
衡和容錯提供支持。

?

本文轉自大數據躺過的坑博客園博客，原文鏈接：http://www.cnblogs.com/zlslch/p/5724033.html，如需轉載請自行聯系原作者

總結

以上是生活随笔為你收集整理的Spark RDD概念学习系列之RDD的重要内部属性（十五）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。