正常讀取：

val spark = SparkSession.builder().master("local").appName("rank").getOrCreate()val sc: SparkContext = spark.sparkContextsc.setLogLevel("error")val lines = sc.textFile("/Users/Documents/日志數(shù)據(jù)分析/20220215134411.csv")lines.take(2).foreach(println) //亂碼問(wèn)題

輸出結(jié)果：

ord_complete_tm,user_log_acct,corp_name,parent_sale_ord_id,amount
2021-01,��?���?����?�,��?���??����?�?,131729320061,1119.0

解決中文亂碼讀取：

val spark = SparkSession.builder().master("local").appName("rank").getOrCreate()val sc: SparkContext = spark.sparkContextsc.setLogLevel("error")spark.read.option("header", false).option("encoding","gbk").option("delimiter", ",").csv("/Users/limengdong/Documents/日志數(shù)據(jù)分析/20220215134411.csv").head(3).foreach(println)

輸出結(jié)果：

[ord_complete_tm,user_log_acct,corp_name,parent_sale_ord_id,amount]
[2021-01,聯(lián)通,聯(lián)通,131729,1119.0]
[2021-01,聯(lián)通,聯(lián)通,132049,19.0]

總結(jié)

以上是生活随笔為你收集整理的解决scala_spark本地读取csv中文乱码问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。