接下來(lái)是跟MapReduce目錄結(jié)構(gòu)有關(guān)的參數(shù)。首先看兩個(gè)參數(shù)，分別為在core-default.xml中定義的hadoop.tmp.dir，其默認(rèn)值為/tmp/hadoop-${user.name}，另一個(gè)為定義在mapred-default.xml中的mapred.local.dir，該參數(shù)指定了保存MapReduce中間數(shù)據(jù)文件的目錄，其默認(rèn)值為${hadoop.tmp.dir}/mapred/local。在下面的學(xué)習(xí)中將會(huì)直接引用mapred.local.dir。TaskTracker擁有本地目錄，目錄${mapred.local.dir}/taskTracker/用于創(chuàng)建本地緩存和本地作業(yè)。可以定義多個(gè)本地目錄（分布在多個(gè)硬盤上）并且每個(gè)文件名被半隨機(jī)地分配到本地目錄中。當(dāng)作業(yè)啟動(dòng)時(shí)，TaskTracker創(chuàng)建與本地目錄（該目錄由配置參數(shù)指定）相關(guān)的本地作業(yè)目錄。這樣，TaskTracker目錄結(jié)構(gòu)就像下面描述的：

${mapred.local.dir}/taskTracker/distcache/：所有用戶的作業(yè)的公有分布式緩存。該目錄保存本地的公有分布式緩存，這樣本地的公有分布式緩存就可以在所有用戶的所有任務(wù)和作業(yè)之間共享。

 ${mapred.local.dir}/taskTracker/$user/distcache/ ：特定用戶的作業(yè)的私有分布式緩存目錄。該目錄保存本地化的私有分布式緩存，這樣本地的私有分布式緩存在僅在特定用戶的任務(wù)和作業(yè)之間共享，其他用戶的作業(yè)不可以訪問(wèn)該目錄。

${mapred.local.dir}/taskTracker/$user/jobcache/$jobid/：本地化作業(yè)的目錄。</

總結(jié)

以上是生活随笔為你收集整理的Hadoop学习之MapReduce(四)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。