我們知道,
spark中的println會被控制臺忽略.

代碼如下:

import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession} import org.apache.spark.sql.functions._ // for lit(), first(), etc. import org.apache.log4j.Logger import org.apache.log4j.Levelobject RunIntro extends Serializable {def main(args: Array[String]): Unit = {prints(spark,"------------來看下這個復(fù)雜的SQL語句-----------------")val spark = SparkSession.builder.appName("Intro").config("spark.master", "local").getOrCreate();spark.sparkContext.setLogLevel("ERROR")} def prints(spark:SparkSession,log:String) : Unit = {var rdd= spark.sparkContext.parallelize(List(log))rdd.collect().foreach(println)//Spark里面,必須兩句話配合才能輸出. }}

實際項目的時候,把上面的prints函數(shù)拷貝到自己的工程里面,
然后一句:

prints(spark,"------------來看下這個復(fù)雜的SQL語句-----------------")

就行了.

總結(jié)

以上是生活随笔為你收集整理的spark中的println失效问题解决的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。