列出Spark中本地可用的所有文件名的最有效方法是什么？我正在使用Scala API，但是，Python也應(yīng)該沒問題。

解決方案

import org.apache.hadoop.fs。{FileSystem，FileUtil，Path}

import scala.collection.mutable.Stack

$ b $ val fs = FileSystem.get(sc.hadoopConfiguration)

var dirs = Stack [String]()

val files = scala.collection.mutable.ListBuffer.empty [String]

val fs = FileSystem.get(sc.hadoopConfiguration)

dirs.push("/ user / username /")

while(！dirs.isEmpty){

val status = fs.listStatus(new Path(dirs.pop()))

status.foreach(x => if(x .isDirectory)dirs.push(x.getPath.toString)else

files + = x.getPath.toString)

}

files.foreach(println)

< / code>

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的python spark hadoop_使用Scala或Python列出存储在Hadoop HDFS上的Spark群集中可用的所有文件？...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。