很多人只會，但沒深入體會和想為什么要這樣？

　　拿Hadoop來說，當然，spark也一樣的道理。

　　輸出路徑由Hadoop自己創建，實際的結果文件遵守part-nnnn的約定。

　　如何指定一個已有目錄作為Hadoop作業的輸出路徑，作業將無法進行，并會拋出異常抗議一個已經存在的目錄。如果想讓Hadoop將輸出存儲到一個目錄，它必須是不存的目錄。其實，我們可以把這個特點當做Hadoop的一種安全機制，它可以防止Hadoop重寫有用的文件以及用戶總是忘記弄清的事。

?

轉載于:https://www.cnblogs.com/zlslch/p/6092396.html

總結

以上是生活随笔為你收集整理的Hadoop概念学习系列之为什么hadoop/spark执行作业时，输出路径必须要不存在？（三十九）...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。