待處理文件

準(zhǔn)備待處理文件student.data，內(nèi)容如下：

1|vincent|13827460000|gvark@eyou.com 2|jenny|13827460002|ovwgofpa@56.com 3|sofia|13827460003|jfbmgpm@netease.com 4|natasha|13827460004|vjtw@35.com 5|catalina|13827460005|bpnoc@qq.com 6|jax|13827460006|rfieancklpvq@yahoo.com.cn 7|missfortune|13827460007|crwglpmmwsv@qq.com 8|anny|13827460008|nmbigtektdbow@qq.com 9|jinx|13827460009|jqu@xinhuanet 10|ezrio|13827460010|wvvoio@netease.com 11|lucas|13827460011|fgn@email.com.cn 12||13827460012|klukgp@yahoo.com.cn 13|NULL|13827460013|pgovoloacfuoed@etang.com

特別注意最后第二個(gè)字段有特點(diǎn)。

代碼實(shí)現(xiàn)

首先測(cè)試分隔符：

package cn.ac.iie.sparkimport org.apache.spark.sql.SparkSession/*** DataFrame中的操作*/ object DataFrameCase {def main(args: Array[String]): Unit = {val DataFrameCase = SparkSession.builder().appName("DataFrameCase").master("local[2]").getOrCreate()val rdd = DataFrameCase.sparkContext.textFile("file:///E:/test/student.data")// 注意需要導(dǎo)入隱式轉(zhuǎn)換import DataFrameCase.implicits._val studenntDF = rdd.map(_.split("\\")).map(line => Student(line(0).toInt, line(1), line(2), line(3))).toDF()studenntDF.show()DataFrameCase.close()}case class Student(id: Int, name: String, phone: String, email: String) }

輸出如下：

注意分隔符應(yīng)該使用轉(zhuǎn)義字符進(jìn)行轉(zhuǎn)移，否則出現(xiàn)下面的情況，就不是我們所期望的了：

同時(shí)可以看到，當(dāng)郵箱長(zhǎng)度過(guò)長(zhǎng)時(shí)，會(huì)出現(xiàn)...的情況。
可以使用show(20, false)重載方法（第一個(gè)參數(shù)表示顯示多少行，第二個(gè)方式表示是否截取），來(lái)解決這個(gè)問(wèn)題。

• studenntDF.select("email").show：只顯示email數(shù)據(jù)
• studenntDF.filter("name='' OR name='NULL'").show(false)：只顯示name為空或者NULL的數(shù)據(jù)
• studenntDF.filter("SUBSTR(name,0,1)='v'").show(false)：顯示name第一個(gè)字符為v的數(shù)據(jù)。SUBSTR與SUBSTRING等價(jià)。
• studenntDF.sort(studenntDF.col("name")).show()：按照name進(jìn)行字母順序排序
• studenntDF.sort(studenntDF.col("name").desc).show()：按照name進(jìn)行降序排序
• studenntDF.sort(studenntDF.col("name").desc, studenntDF.col("email")).show()：按照name進(jìn)行降序，email進(jìn)行升序
• studenntDF.join(studenntDF2, studenntDF.col("id") === studenntDF2.col("id"), "inner").show()：進(jìn)行join操作，默認(rèn)是內(nèi)連接。

總結(jié)

以上是生活随笔為你收集整理的SparkSQL之DataFrame案例的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。