當(dāng)我們執(zhí)行Spark-shell的時候，會出現(xiàn)如下界面，如果覺得顯示信息過多可通過修改conf文件夾下的log4j.properties文件讓其只顯示警告信息，而不顯示所有的信息1。?

解決方案

進入到spark目錄/conf文件夾下，此時有一個log4j.properties.template文件，我們執(zhí)行如下命令將其拷貝一份為log4j.properties，并對log4j.properties文件進行修改。

cp log4j.properties.template log4j.properties

vim log4j.properties

如上圖所示，將log4j.rootCategory=INFO, console中的INFO改為WARN，保存退出即可。?
效果如下所示：?

同樣，該方法也適用于pyspark。

總結(jié)

以上是生活随笔為你收集整理的解决spark-shell输出日志信息过多的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。