嘿，我在AWS上擁有1個Master和1個Slave Node Standalone Spark Cluster . 我的主目錄名為?/ Notebooks . 這是我啟動jupyter筆記本并在瀏覽器中連接jupyter . 我還有一個名為people.json的文件(簡單的json文件) .

我嘗試運行此代碼

from pyspark import SparkContext, SparkConf

from pyspark.sql import SQLContext

conf = SparkConf().setAppName('Practice').setMaster('spark://ip-172-31-2-186:7077')

sc = SparkContext(conf=conf)

sqlContext = SQLContext(sc)

df = sqlContext.read.json("people.json")

當我運行最后一行時，我收到此錯誤 . 我不知道文件就在那里......有什么想法？ -

Py4JJavaError：調用o238.json時發生錯誤 . ：org.apache.spark.SparkException：作業因階段失敗而中止：階段4.0中的任務1失敗4次，最近失敗：階段4.0中丟失任務1.3(TID 37，ip-172-31-7-160.us -west-2.compute.internal)：java.io.FileNotFoundException：文件文件：/home/ubuntu/Notebooks/people.json不存在

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的spark如何解决文件不存在_Spark Read.json无法找到文件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。