1、環(huán)境

cdh5.12.3

spark2 2.3.0

2、需要本地地洞spark2-shell用于環(huán)境測(cè)試

錯(cuò)誤一：Error: A JNI error has occurred, please check your installation and try again

Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger

at java.lang.Class.getDeclaredMethods0(Native Method)

at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)

at java.lang.Class.privateGetMethodRecursive(Class.java:3048)

at java.lang.Class.getMethod0(Class.java:3018)

at java.lang.Class.getMethod(Class.java:1784)

at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)

at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)

Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger

at java.net.URLClassLoader.findClass(URLClassLoader.java:381)

at java.lang.ClassLoader.loadClass(ClassLoader.java:424)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)

at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

... 7 more

錯(cuò)誤一

需要配置spark-env.sh 指定HADOOP_CONF_DIR

錯(cuò)誤二：Error: Cluster deploy mode is not applicable to Spark shells.

Run with --help for usage help or --verbose for debug output

錯(cuò)誤二

注意，spark2-shell運(yùn)行在yarn上面，需要指定模式y(tǒng)arn-client，如果指定yarn-cluster，則會(huì)報(bào)錯(cuò)：

Error: Cluster deploy mode is not applicable to Spark shells.

因?yàn)閟park-shell作為一個(gè)與用戶交互的命令行，必須將Driver運(yùn)行在本地，而不是yarn上。

其中的參數(shù)與提交Spark應(yīng)用程序到y(tǒng)arn上用法一樣。

正確啟動(dòng)方式：spark2-shell --master yarn --deploy-mode client

3、啟動(dòng)成功標(biāo)識(shí)：

啟動(dòng)成功

總結(jié)

以上是生活随笔為你收集整理的cdh集群linux命令,CDH集群中，服务器启动spark2-shell命令行注意事项的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。