方法一：利用窗口函數

/*** 設置窗口函數的分區以及排序，因為是全局排序而不是分組排序，所有分區依據為空* 排序規則沒有特殊要求也可以隨意填寫*/val spec = Window.partitionBy().orderBy($"lon")val df1 = dataframe.withColumn("id", row_number().over(spec))df1.show()

方法二： 利用RDD的 zipWithIndex算子

// 在原Schema信息的基礎上添加一列 “id”信息val schema: StructType = dataframe.schema.add(StructField("id", LongType))// DataFrame轉RDD 然后調用 zipWithIndexval dfRDD: RDD[(Row, Long)] = dataframe.rdd.zipWithIndex()val rowRDD: RDD[Row] = dfRDD.map(tp => Row.merge(tp._1, Row(tp._2)))// 將添加了索引的RDD 轉化為DataFrameval df2 = spark.createDataFrame(rowRDD, schema)df2.show()

方法三：

df2 = df.withColumn("id", monotonically_increasing_id)

總結

以上是生活随笔為你收集整理的Spark DataFrame 添加自增id的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。