應用場景：map side join
工作原理：
通過mapreduce框架將一個文件（本地/HDFS）分發到每一個運行時的task(map task /reduce task)節點上（放到task進程所在的工作目錄）
獲取的方式： 在我們自己的mapper或者reducer的代碼內，直接使用本地文件JAVA ----API 來訪問這個文件
示例程序：

• 首先在 job對象中進行指定：

job.addCacheFile(new URI("hdfs://hadoop-server01:9000/cachefile/b.txt")); //分發一個文件到task進程的工作目錄 job.addCacheFile(new URI("hdfs://hadoop-server01:9000/cachefile/b.txt")); //分發一個歸檔文件到task進程的工作目錄 //job.addArchiveToClassPath(archive); //分發jar包到task節點的classpath下 //job.addFileToClassPath(jarfile);

• 然后在mapper或者reducer中直接使用：

in = new FileReader("b.txt"); reader =new BufferedReader(in); String line = reader.readLine()

總結

以上是生活随笔為你收集整理的Hadoop大数据——mapreduce的Distributed cache的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。