文件的刪除和恢復?

?????? 和Linux系統的回收站設計一樣，HDFS會為每一個用戶創建一個回收站目錄：/user/用戶名/.Trash/，每一個被用戶通過Shell刪除的文件/目錄，在系統回收站中都一個周期，也就是當系統回收站中的文件/目錄在一段時間之后沒有被用戶回復的話，HDFS就會自動的把這個文件/目錄徹底刪除，之后，用戶就永遠也找不回這個文件/目錄了。在HDFS內部的具體實現就是在NameNode中開啟了一個后臺線程Emptier，這個線程專門管理和監控系統回收站下面的所有文件/目錄，對于已經超過生命周期的文件/目錄，這個線程就會自動的刪除它們，不過這個管理的粒度很大。另外，用戶也可以手動清空回收站，清空回收站的操作和刪除普通的文件目錄是一樣的，只不過HDFS會自動檢測這個文件目錄是不是回收站，如果是，HDFS當然不會再把它放入用戶的回收站中了

? ? ? ?根據上面的介紹，用戶通過命令行即HDFS的shell命令刪除某個文件，這個文件并沒有立刻從HDFS中刪除。相反，HDFS將這個文件重命名，并轉移到操作用戶的回收站目錄中（如/user/hdfs/.Trash/Current, 其中hdfs是操作的用戶名）。如果用戶的回收站中已經存在了用戶當前刪除的文件/目錄，則HDFS會將這個當前被刪除的文件/目錄重命名，命名規則很簡單就是在這個被刪除的文件/目錄名后面緊跟一個編號(從1開始知道沒有重名為止)。

??????? 當文件還在/user/hdfs/.Trash/Current目錄時，該文件可以被迅速地恢復。文件在/user/hdfs/.Trash/Current中保存的時間是可配置的，當超過這個時間，Namenode就會將該文件從namespace中刪除。 文件的刪除，也將釋放關聯該文件的數據塊。注意到，在文件被用戶刪除和HDFS空閑的增加之間會有一個等待時間延遲。?
??? 當被刪除的文件還保留在/user/hdfs/.Trash/Current目錄中的時候，如果用戶想恢復這個文件，可以檢索瀏覽/user/hdfs/.Trash/Current目錄并檢索該文件。/user/hdfs/.Trash/Current目錄僅僅保存被刪除 文件的最近一次拷貝。/user/dfs/.Trash/Current目錄與其他文件目錄沒有什么不同，除了一點：HDFS在該目錄上應用了一個特殊的策略來自動刪除文件，目前的默認策略是 刪除保留超過6小時的文件，這個策略以后會定義成可配置的接口。

????? 還有，NameNode是通過后臺線程(默認是org.apache.hadoop.fs.TrashPolicyDefault.Emptier，也可以通過fs.trash.classname指定TrashPolicy類)來定時清空所有用戶回收站中的文件/目錄的,它每隔interval分鐘就清空一次用戶回收站。具體的操作步驟是，先檢查用戶回收站目錄/user/用戶名/.Trash下的所有yyMMddHHmm形式的目錄，然后刪除壽命超過interval的目錄，最后將當前存放刪除的文件/目錄的回收站目錄/user/用戶名/.Trash/current重命名為一個/user/用戶名/.Trash/yyMMddHHmm.

????? 從這個回收線程(Emptier)的實現可以看出，被用戶用命令刪除的文件最多可在其回收站中保存2*interval分鐘，最少可保存interval分鐘，過了這個有效期，用戶刪除的文件就永遠也不可能恢復了

配置

Hadoop回收站trash，默認是關閉的。?

1.修改conf/core-site.xml,增加?

Xml代碼??

<property>??

??<name>fs.trash.interval</name>??

??<value>1440</value>??

??<description>Number?of?minutes?between?trash?checkpoints.??

??If?zero,?the?trash?feature?is?disabled.??

??</description>??

</property>??

默認是0.單位分鐘。這里我設置的是1天（60*24）?
刪除數據rm后，會將數據move到當前文件夾下的.Trash目錄?

2.測試 ?
1）新建目錄input?
Java代碼??

hadoop/bin/hadoop?fs?-mkdir?input????

2）上傳文件?
Java代碼??

root@master:/data/soft#?hadoop/bin/hadoop?fs?-copyFromLocal?/data/soft/file0*?input??

3）刪除目錄input?
Java代碼??

[root@master?data]#?hadoop?fs?-rmr?input??

Moved?to?trash:?hdfs://master:9000/user/root/input??

4）參看當前目錄?
Java代碼??

[root@master?data]#?hadoop?fs?-ls??

Found?2?items??

drwxr-xr-x???-?root?supergroup??????????0?2011-02-12?22:17?/user/root/.Trash??

發現input刪除，多了一個目錄.Trash?

5）恢復剛剛刪除的目錄?
Java代碼??

[root@master?data]#?hadoop?fs?-mv?/user/root/.Trash/Current/user/root/input??/user/root/input??

6）檢查恢復的數據?
Java代碼??

[root@master?data]#?hadoop?fs?-ls?input??

Found?2?items??

-rw-r--r--???3?root?supergroup?????????22?2011-02-12?17:40?/user/root/input/file01??

-rw-r--r--???3?root?supergroup?????????28?2011-02-12?17:40?/user/root/input/file02??

6）刪除.Trash目錄（清理垃圾）?
Java代碼??

[root@master?data]#?hadoop?fs?-rmr?.Trash??

Deleted?hdfs://master:9000/user/root/.Trash??

注意：當用戶寫程序調用HDFS的API時，NameNode并不會把刪除的文件或目錄放入回收站Trash中，而是需要自己實現相關的回收站邏輯，見如下的代碼

import java.io.IOException;import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.Trash;public class RMFile {private final static Log log = LogFactory.getLog(RMFile.class);private final static Configuration conf = new Configuration();/*** Delete a file/directory on hdfs* * @param path* @param recursive* @return* @throws IOException*/public static boolean rm(FileSystem fs, Path path, boolean recursive)throws IOException {log.info("rm: " + path + " recursive: " + recursive);boolean ret = fs.delete(path, recursive);if (ret)log.info("rm: " + path);return ret;}/*** Delete a file/directory on hdfs,and move a file/directory to Trash* @param fs* @param path* @param recursive* @param skipTrash* @return* @throws IOException*/public static boolean rm(FileSystem fs, Path path, boolean recursive,boolean skipTrash) throws IOException {log.info("rm: " + path + " recursive: " + recursive+" skipTrash:"+skipTrash);if (!skipTrash) {Trash trashTmp = new Trash(fs, conf);if (trashTmp.moveToTrash(path)) {log.info("Moved to trash: " + path);return true;}}boolean ret = fs.delete(path, recursive);if (ret)log.info("rm: " + path);return ret;}public static void main(String[] args) throws IOException {conf.set("fs.default.name", "hdfs://data2.kt:8020/");FileSystem fs = FileSystem.get(conf);RMFile.rm(fs,new Path("hdfs://data2.kt:8020/test/testrm"),true,false);}}

執行程序后，發現使用程序刪除的文件，也到了用戶的回收站目錄中，見紅框內

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的HDFS 的Trash回收站功能的配置、使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。