Hadoop從2.3.0版本號開始支持HDFS緩存機制，HDFS同意用戶將一部分文件夾或文件緩存在HDFS其中。NameNode會通知擁有相應塊的DataNodes將其緩存在DataNode的內存其中

集中式緩存管理有著很多顯著的優勢：

防止那些被頻繁使用的數據從內存中清除

由于DataNode的緩存由NameNode來管理，applications在做任務安排時能夠查詢這個緩存的列表，使用一個被緩存的塊副本能夠提高讀性能

當塊被DataNode緩存之后。client能夠使用一個新的、高效的、zero-copy的讀API。由于緩存中的數據已經被計算過checksum，當使用新API時，client基本上是零開銷的

能夠提高集群的內存利用率。當使用操作系統的緩存時，對一個塊的反復讀會導致全部的副本都會被放到緩沖區其中，當使用集中式緩存時。用戶能夠指定n個副本中的m個才會被緩存，能夠節約n-m的內存

使用方法

集中式緩存對那些頻繁訪問的的文件是很實用的。比如hive中常常被使用的fact表就很適合緩存；還有一方面，緩存一年的查詢結果可能沒那么實用了。由于這個結果可能僅僅會被查看一次

也有助于提高混合類型作業的SLA性能。把高優先級的數據緩存起來能夠確保它不會與低優先級的數據競爭磁盤IO

使用：

[hadoop@master hadoop]$ hdfs cacheadmin -addPool admin 【加入一個pool】 Successfully added cache pool admin. [hadoop@master hadoop]$ hdfs cacheadmin -listPools 【查看pool列表】 Found 1 result. NAME OWNER GROUP MODE LIMIT MAXTTL admin hadoop hadoop rwxr-xr-x unlimited never [hadoop@master hadoop]$ hdfs cacheadmin -addDirective -path /input -pool admin 【將一個文件夾加入pool】 Added cache directive 1 [hadoop@master hadoop]$ hdfs cacheadmin -listDirectives 【查看已緩存的數據】 Found 2 entriesID POOL REPL EXPIRY PATH 1 admin 1 never /input 2 test 1 never /output/0 [hadoop@master hadoop]$ hdfs cacheadmin -removeDirective 1 【按id清除緩存】 Removed cached directive 1 [hadoop@master hadoop]$ hdfs cacheadmin -listDirectives Found 1 entryID POOL REPL EXPIRY PATH 2 test 1 never /output/0 [hadoop@master hadoop]$ hdfs cacheadmin -removeDirectives -path /output/0 【按path清除緩存】 Removed cache directive 2 Removed every cache directive with path /output/0 [hadoop@master hadoop]$ hdfs cacheadmin -listDirectives Found 0 entries

轉載于:https://www.cnblogs.com/lxjshuju/p/6897290.html

總結

以上是生活随笔為你收集整理的HDFS集中式缓存管理（Centralized Cache Management）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。