數據:?

scalaapi:

package com.lianxiimport org.apache.spark.SparkContext import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} import org.apache.spark.sql.{DataFrame, SparkSession}object TxtDemo {def main(args: Array[String]): Unit = {val spark = SparkSession.builder().master("local").appName("rank").getOrCreate()val sc: SparkContext = spark.sparkContextsc.setLogLevel("error")val scam: StructType = StructType(StructField("id",IntegerType)::StructField("name",StringType)::StructField("age",IntegerType)::Nil)val df: DataFrame = spark.read.schema(scam).csv("./data/aaa")df.show()} }

結果展示：

+---+--------+---+ | id| name|age| +---+--------+---+ | 1|zhangsan| 18| | 2| lisi| 19| | 3| wangwu| 20| +---+--------+---+

或許你會想這個schema定義怎么這樣寫，你可以試著點開StructType這個類。

你會發現在他的注釋中寫著一個這樣的例子：【具體沒有舉完，自行查閱】

?

?

?

超強干貨來襲 云風專訪：近40年碼齡，通宵達旦的技術人生

總結

以上是生活随笔為你收集整理的Spark读取文本文件并转换为DataFrame的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。