數(shù)據(jù):?

scalaapi:

package com.lianxiimport org.apache.spark.SparkContext import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} import org.apache.spark.sql.{DataFrame, SparkSession}object TxtDemo {def main(args: Array[String]): Unit = {val spark = SparkSession.builder().master("local").appName("rank").getOrCreate()val sc: SparkContext = spark.sparkContextsc.setLogLevel("error")val scam: StructType = StructType(StructField("id",IntegerType)::StructField("name",StringType)::StructField("age",IntegerType)::Nil)val df: DataFrame = spark.read.schema(scam).csv("./data/aaa")df.show()} }

結(jié)果展示：

+---+--------+---+ | id| name|age| +---+--------+---+ | 1|zhangsan| 18| | 2| lisi| 19| | 3| wangwu| 20| +---+--------+---+

或許你會(huì)想這個(gè)schema定義怎么這樣寫(xiě)，你可以試著點(diǎn)開(kāi)StructType這個(gè)類(lèi)。

你會(huì)發(fā)現(xiàn)在他的注釋中寫(xiě)著一個(gè)這樣的例子：【具體沒(méi)有舉完，自行查閱】

?

?

?

超強(qiáng)干貨來(lái)襲 云風(fēng)專(zhuān)訪：近40年碼齡，通宵達(dá)旦的技術(shù)人生

總結(jié)

以上是生活随笔為你收集整理的Spark读取文本文件并转换为DataFrame的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。