問題出現(xiàn)使用maven+scala+spark的時候,運行
java -jar xxx.jar的時候出現(xiàn)的:

java.io.IOException: No FileSystem for scheme: hdfsat org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2660)at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:172)at org.apache.spark.deploy.yarn.Client$$anonfun$5.apply(Client.scala:123)at org.apache.spark.deploy.yarn.Client$$anonfun$5.apply(Client.scala:123)at scala.Option.getOrElse(Option.scala:121)at org.apache.spark.deploy.yarn.Client.<init>(Client.scala:123)at org.apache.spark.deploy.yarn.Client.<init>(Client.scala:69)at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:55)at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:173)at org.apache.spark.SparkContext.<init>(SparkContext.scala:509)

解決方案1：

val spark = SparkSession.builder.appName("Intro").config("spark.master", "local").getOrCreate();spark.sparkContext.setLogLevel("ERROR")val hadoopConf = spark.sparkContext.hadoopConfigurationhadoopConf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)hadoopConf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)

解決方案2：
在core-site.xml中加入如下配置，并且重啟，以后每次都會生效。

<property><name>fs.file.impl</name><value>org.apache.hadoop.fs.LocalFileSystem</value> </property> <property><name>fs.hdfs.impl</name><value>org.apache.hadoop.hdfs.DistributedFileSystem</value> </property>

總結(jié)

以上是生活随笔為你收集整理的java.io.IOException: No FileSystem for scheme: hdfs转载加自己笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。