彈性分布式數(shù)據(jù)集RDD（Resilient Distributed DataSets）：程序中的file和filterRDD變量都是RDD。

創(chuàng)建操作（creation operation）：RDD的初始創(chuàng)建都是由SparkContext來負(fù)責(zé)的，將內(nèi)存中的集合或者外部文件系統(tǒng)作為輸入源。

轉(zhuǎn)換操作（transformation operation）：將一個RDD通過一定的操作變換成另一個RDD，比如file通過filter操作變換成filterRDD，所以filter就是一個轉(zhuǎn)換操作。

控制操作（control operation）：對RDD進行持久化。可以讓RDD保存在磁盤或者內(nèi)存中，以便后續(xù)重復(fù)使用。比如cache接口默認(rèn)將filterRDD緩存在內(nèi)存中。

行動操作 （action operation）：由于Spark是惰性計算（lazy computing）的，所以對于任何RDD進行操作，都會出發(fā)Spark作業(yè)的運行，從而產(chǎn)生最終的結(jié)果。例如對filterRDD進行的count操作就是一個行動操作。Spark中的行動操作基本分為兩類，一類操作結(jié)果變成Scala集合或者標(biāo)量，另一類就將RDD保存到外部文件或者數(shù)據(jù)庫系統(tǒng)中。

來自內(nèi)存集合和外部存儲系統(tǒng)

通過轉(zhuǎn)換操作來自于其他RDD

開發(fā)者可以指明需要重用哪些RDD，選擇一種存儲策略（例如in-memory storage）將它們保存起來，以備使用。

開發(fā)者還可以讓RDD根據(jù)記錄中的鍵值在集群的機器之間重新分區(qū)。這對于RDD的位置優(yōu)化是非常有作用的。例如讓將要進行join操作的兩個數(shù)據(jù)集以同樣的方式進行哈希分區(qū)。

窄依賴可以在集群的一個節(jié)點上如流水線般執(zhí)行，可以計算所有父RDD的分區(qū)；

寬依賴需要取得父RDD的所有分區(qū)上的數(shù)據(jù)進行計算，將會執(zhí)行類似于MapReduce一樣的Shuffle操作。

窄依賴在節(jié)點計算失敗后的恢復(fù)會更加有效，只需重新計算對應(yīng)的父RDD的分區(qū)，而且可以在其它節(jié)點并行計算；

在寬依賴的繼承關(guān)系中，一個節(jié)點的失敗將會導(dǎo)致其父RDD的多個分區(qū)重新計算，這個代價是非常高的。

集合創(chuàng)建操作：RDD可以由內(nèi)部集合來生成，Spark提供了兩類函數(shù)來實現(xiàn)：parallelize和makeRDD。

存儲創(chuàng)建操作：Spark整個生態(tài)系統(tǒng)與Hadoop完全兼容，Hadoop支持的文件類型或者數(shù)據(jù)庫類型，它同樣支持。

基本轉(zhuǎn)換操作：

map[U: classTag](f: T => U): RDD(U)：將RDD中類型為T的元素一對一地映射為類型為U的元素。

distinct(): RDD[T]：返回RDD中所有不一樣的元素。

flatMap[U: classTag](f: T => TraversableOnce[U]): RDD[U]：將RDD中的每一個元素進行一對多轉(zhuǎn)換。

repartition(numPartitions: Int): RDD[T]：相當(dāng)于coalesce函數(shù)中shuffle=true時的簡易實現(xiàn)。

coalesce(numPartitions: Int，shuffle: Boolean=false): RDD[T]：對RDD的分區(qū)進行重新分區(qū)。

randomSplit(weights: Array[Double],seed: Long=System.nanoTime): Array[RDD[T]]：根據(jù)weights權(quán)重將一個RDD切分成多個RDD。

glom():RDD[Array[T]]：將RDD每一個分區(qū)中類型為T的元素轉(zhuǎn)換成Array[T]，這樣每一個分區(qū)就只有一個數(shù)組元素。

union(other: RDD[T]): RDD[T]：將兩個RDD集合中的數(shù)據(jù)進行合并，不會去重。

intersection(other: RDD[T]): RDD[T]：返回兩個RDD集合中的數(shù)據(jù)的交集，不含重復(fù)元素。

intersection(other: RDD[T], partitioner: Partitioner): RDD[T]：同上

subtract(other: RDD[T]): RDD[T]：返回在主RDD集合中出現(xiàn)但不在other中出現(xiàn)的元素。

subtract(other: RDD[T], partitioner: Partitioner): RDD[T]：同上

mapPatitions[U: ClassTag](f: Iterator[T] => Iterator[U], preservesPartiton: Boolean=false): RDD[U]

mapPatitionsWithIndex[U: ClassTag](f: (Int, Iterator[T]) => Iterator[U], preservesPartiton: Boolean=false): RDD[U]

?

zip[U: ClassTag](other: RDD[U]): RDD[(T,U)]：將兩個RDD組成Key/Value形式的RDD，但它們的分區(qū)數(shù)量和元素數(shù)量必須相同，否則相同系統(tǒng)會拋出異常

zipPartitons(參數(shù)分多種情況，不一一列舉了)：將多個RDD按照分區(qū)組成新的RDD，分區(qū)數(shù)相同，元素數(shù)沒有要求。

？

zipWithIndex(): RDD[(T,Long)]：將RDD中的元素和這個元素的ID組成鍵/值對。

zipWithUniqueId(): RDD[(T,Long)]：將RDD中的元素和一個唯一的ID組成鍵/值對。

鍵值RDD轉(zhuǎn)換操作

partitionBy(partitioner: Partitioner): RDD[(K,V)]：根據(jù)partitioner函數(shù)生成新的ShuffledRDD，原RDD重新分區(qū)

mapValues[U](f: V=>U): RDD[(K,U)]：針對[K,V]中的V進行map操作。

flatMapValues[U](f: V=>TraversableOnce[U]): RDD[(K,U)]：針對[K,V]中的V進行flatMap操作。

combineByKey（3個方法參數(shù)不同）：

foldByKey(3個方法參數(shù)不同)：

reduceByKey(3個方法參數(shù)不同)：

groupByKey(3個方法參數(shù)不同)：

cogroup(3個方法參數(shù)不同)：

join(3個方法參數(shù)不同)：

leftOuterJoin(3個方法參數(shù)不同)：

rightOuterJoin(3個方法參數(shù)不同)：

subtractByKey(3個方法參數(shù)不同)：

cache(): RDD[T]：

persist(): RDD[T]：

persist(level: StorageLevel): RDD[T]：

在Spark中對RDD進行持久化操作是一項非常重要的功能，可以將RDD持久化在不同層次的存儲介質(zhì)中，以便后續(xù)的操作能夠重復(fù)使用，這對iterative（迭代）和interactive（交互）的應(yīng)用來說會極大的提高性能。

checkpoint：

checkpoint接口是將RDD持久化在HDFS中，與persist（如果也持久化在磁盤上）的一個區(qū)別是checkpoint將會切斷此RDD之前的依賴關(guān)系，而persist接口依然保留著RDD的依賴關(guān)系。checkpoint的主要作用有如下兩點：

（1）如果一個Spark程序會長時間駐留運行（如Spark Streaming一般會7*24小時運行），過長的依賴將會占用很多系統(tǒng)資源，定期將RDD進行checkpoint操作，能夠有效地節(jié)省系統(tǒng)資源。

（2）維護過長的依賴關(guān)系還會出現(xiàn)一個問題，如果Spark在運行過程中出現(xiàn)節(jié)點失敗的情況，那么RDD進行容錯重算的成本會非常高。

行動操作將標(biāo)量或者集合返回給Spark的客戶端程序，比如返回RDD中數(shù)據(jù)集的數(shù)量或者一部分符合條件的數(shù)據(jù)。

first：返回RDD中的第一個元素。

count：返回RDD中元素的個數(shù)。

reduce(f: (T,T)=>T)：對RDD中的元素進行二元計算，返回計算結(jié)果。

collect()/toArray()：以集合形式返回RDD的元素。

take(num: Int)：將RDD作為集合，返回集合中[0, num-1]下標(biāo)的元素。

top(num: Int)：按照默認(rèn)的或者指定的排序規(guī)則，返回前num個元素。

takeOrdered(num: Int)：以與top相反的排序規(guī)則，返回前num個元素。

aggregate[U](zeroValue: U)(seqOp: (U,T)=>U, combOp(U,U)=>U)：aggregate行動操作中主要需要提供兩個函數(shù)。一個是seqOp函數(shù)，其將RDD（元素類型為T，可以和U為同一類型）中的每一個分區(qū)的數(shù)據(jù)聚合成類型為U的值。另一個函數(shù)combOp將各個分區(qū)聚合起來的值合并在一起得到最終類型為U的返回值。

fold(zeroValue: T)(op: (T,T)=>T)：aggregate的便利接口，op操作既是seqOp操作，也是combOp操作。

lookup(key: K): Seq[V]：lookup是針對(K,V)類型RDD的行動操作，對于給定的鍵值，返回與此鍵值對應(yīng)的所有值。

行動操作將RDD直接保存到外部文件系統(tǒng)或者數(shù)據(jù)庫中，比如HDFS文件系統(tǒng)中。

saveAsTextFile(path: String)：

saveAsTextFile(path: String, codec: Class[_<:CompressionCodec])：

saveAsObjectFile(path: String)：

saveAsHadoopFile[F<:OutputFormat[K,V]](path: String)：

saveAsHadoopFile[F<:OutputFormat[K,V]](path: String, codec: Class[_<:CompressionCodec])：

saveAsHadoopFile(path: String, keyClass: Class[_], valueClass: class[_], outputFormatClass: Class[]......)：

saveAsHadoopDataset(conf: JobConf)：

這是舊版本API中提供的七個將RDD存儲到外部介質(zhì)的函數(shù)，前六個都是saveAsHadoopDataset的簡易實現(xiàn)版本，僅支持將RDD存儲到HDFS中，而saveAsHadoopDataset的參數(shù)類型是JobConf，所以它還可以將RDD保存到其它數(shù)據(jù)庫中，例如Hbase、MongoDB、Cassandra等。

Spark針對新版本Hadoop API提供了三個行動操作函數(shù)。

saveAsNewAPIHadoopFile[F<:NewOutputFormat[K,V]](path: String)(implicit fm: ClassTag[F])：

saveAsNewAPIHadoopFile(path: String, keyClass: Class[_],......)：

saveAsNewAPIHadoopDataset(conf: Configuration)：

前兩個API支持將RDD保存到HDFS中，第三個則支持所有MapReduce兼容的輸入輸出類型。