日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

hadoop三个配置文件的参数含义说明

發布時間:2025/6/15 编程问答 23 豆豆
生活随笔 收集整理的這篇文章主要介紹了 hadoop三个配置文件的参数含义说明 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1???????獲取默認配置

配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文件,默認下來,這些配置文件都是空的,所以很難知道這些配置文件有哪些配置可以生效,上網找的配置可能因為各個hadoop版本不同,導致無法生效。瀏覽更多的配置,有兩個方法:

1.選擇相應版本的hadoop,下載解壓后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是默認配置,可以參考這些配置的說明和key,配置hadoop集群。

2.瀏覽apache官網,三個配置文件鏈接如下:

?? http://hadoop.apache.org/common/docs/current/core-default.html

?? http://hadoop.apache.org/common/docs/current/hdfs-default.html

?? http://hadoop.apache.org/common/docs/current/mapred-default.html

???這里是瀏覽hadoop當前版本號的默認配置文件,其他版本號,要另外去官網找。其中第一個方法找到默認的配置是最好的,因為每個屬性都有說明,可以直接使用。另外,core-site.xml是全局配置,hdfs-site.xmlmapred-site.xml分別是hdfsmapred的局部配置。

2???????常用的端口配置

2.1??HDFS端口

?

參數

描述

默認

配置文件

例子值

fs.default.name namenode

namenode RPC交互端口

8020

core-site.xml

hdfs://master:8020/

dfs.http.address?

NameNode web管理端口

50070

hdfs- site.xml

0.0.0.0:50070

dfs.datanode.address

datanode 控制端口

50010?

hdfs -site.xml?

0.0.0.0:50010

dfs.datanode.ipc.address

datanodeRPC服務器地址和端口

50020

hdfs-site.xml

0.0.0.0:50020

dfs.datanode.http.address

datanodeHTTP服務器和端口

50075

hdfs-site.xml?

0.0.0.0:50075

?

2.2??MR端口

參數

描述

默認

配置文件

例子值

mapred.job.tracker

job-tracker交互端口?

8021

mapred-site.xml

hdfs://master:8021/

job

trackerweb管理端口

50030

mapred-site.xml

0.0.0.0:50030

mapred.task.tracker.http.address

task-trackerHTTP端口

50060

mapred-site.xml

0.0.0.0:50060

?

?

2.3??其它端口

參數

描述

默認

配置文件

例子值

dfs.secondary.http.address

secondary NameNode web管理端口

50090

hdfs-site.xml

0.0.0.0:50090

?

?

?

?

?

?

?

?

?

?

?

3???????三個缺省配置參考文件說明

3.1??core-default.html

序號

參數名

參數值

參數說明

1

hadoop.tmp.dir???????? ?????????????

/tmp/hadoop-${user.name}?????????????????????????????

臨時目錄設定

2

hadoop.native.lib??????????????????

true?????????????????????????????????????????????????

使用本地hadoop庫標識。

3

hadoop.http.filter.initializers????

?????????????????????????????????????????????????????

http服務器過濾鏈設置?????????????????????????

4

hadoop.security.group.mapping??????

org.apache.hadoop.security.ShellBasedUnixGroupsMapping

組內用戶的列表的類設定

5

hadoop.security.authorization??????

false????????????????????????????????????????????????

服務端認證開啟

6

hadoop.security.authentication?????

simple ???????????????????????????????????????????????

無認證或認證設置

7

hadoop.security.token.service.use_ip

true?????????????????????????????????????????????????

是否開啟使用IP地址作為連接的開關

8

hadoop.logfile.size????????????????

10000000?????????????????????????????????????????????

日志文件最大為10M

9

hadoop.logfile.count

10?????????? ?????????????????????????????????????????

日志文件數量為10

10

io.file.buffer.size

4096

流文件的緩沖區為4K

11

io.bytes.per.checksum

512?

校驗位數為512字節

12

io.skip.checksum.errors

false

校驗出錯后是拋出異常還是略過標識。True則略過。

13

io.compression.codecs

org.apache.hadoop.io.compress.DefaultCodec,

org.apache.hadoop.io.compress.GzipCodec,

org.apache.hadoop.io.compress.BZip2Codec,

org.apache.hadoop.io.compress.SnappyCodec

壓縮和解壓的方式設置

14

io.serializations

org.apache.hadoop.io.serializer.WritableSerialization

序例化和反序列化的類設定

15

fs.default.name

file:///????????????????????????????????????????????

缺省的文件URI標識設定。

16

fs.trash.interval

0???????????????????????????????????????????????????

文件廢棄標識設定,0為禁止此功能

17

fs.file.impl

org.apache.hadoop.fs.LocalFileSystem????????????????

本地文件操作類設置

18

fs.hdfs.impl

org.apache.hadoop.hdfs.DistributedFileSystem????????

HDFS文件操作類設置

19

fs.s3.impl

org.apache.hadoop.fs.s3.S3FileSystem????????????????

S3文件操作類設置

20

fs.s3n.impl?????????????

org.apache.hadoop.fs.s3native.NativeS3FileSystem

S3文件本地操作類設置

21

fs.kfs.impl?????????????

org.apache.hadoop.fs.kfs.KosmosFileSystem

KFS文件操作類設置.?

22

fs.hftp.impl????????????

org.apache.hadoop.hdfs.HftpFileSystem

HTTP方式操作文件設置

23

fs.hsftp.impl???????????

org.apache.hadoop.hdfs.HsftpFileSystem

HTTPS方式操作文件設置

24

fs.webhdfs.impl?????????

org.apache.hadoop.hdfs.web.WebHdfsFileSystem

WEB方式操作文件類設置

25

fs.ftp.impl?????????????

org.apache.hadoop.fs.ftp.FTPFileSystem

FTP文件操作類設置

26

fs.ramfs.impl???????????

org.apache.hadoop.fs.InMemoryFileSystem

內存文件操作類設置

27

fs.har.impl?????????????

org.apache.hadoop.fs.HarFileSystem

壓縮文件操作類設置.

28

fs.har.impl.disable.cache

true

是否緩存har文件的標識設定

29

fs.checkpoint.dir???????

${hadoop.tmp.dir}/dfs/namesecondary

備份名稱節點的存放目前錄設置

30

fs.checkpoint.edits.dir?????

${fs.checkpoint.dir}

備份名稱節點日志文件的存放目前錄設置

31

fs.checkpoint.period????????

3600

動態檢查的間隔時間設置

32

fs.checkpoint.size??????????

67108864

日志文件大小為64M

33

fs.s3.block.size????????????

67108864

S3文件系統的塊的大小為64M

34

fs.s3.buffer.dir????????????

${hadoop.tmp.dir}/s3

S3文件數據的本地存放目錄

35

fs.s3.maxRetries????????????

4

S3文件數據的償試讀寫次數

36

fs.s3.sleepTimeSeconds??????

10

S3文件償試的間隔

37

local.cache.size????????????

10737418240

緩存大小設置為10GB

38

io.seqfile.compress.blocksize

1000000

壓縮流式文件中的最小塊數為100

39

io.seqfile.lazydecompress???

true

塊是否需要壓縮標識設定

40

io.seqfile.sorter.recordlimit

1000000

內存中排序記錄塊類最小為100

41

io.mapfile.bloom.size

1048576

BloomMapFiler過濾量為1M

42

io.mapfile.bloom.error.rate

0.005

?

43

hadoop.util.hash.type

murmur

缺少hash方法為murmur

44

ipc.client.idlethreshold

4000

連接數據最小閥值為4000?

45

ipc.client.kill.max

10

一個客戶端連接數最大值為10

46

ipc.client.connection.maxidletime

10000

斷開與服務器連接的時間最大為10

47

ipc.client.connect.max.retries

10

建立與服務器連接的重試次數為10

48

ipc.server.listen.queue.size

128

接收客戶連接的監聽隊例的長度為128

49

ipc.server.tcpnodelay

false

開啟或關閉服務器端TCP連接算法

50

ipc.client.tcpnodelay

false

開啟或關閉客戶端TCP連接算法

51

webinterface.private.actions

false

Web交互的行為設定

?

52

hadoop.rpc.socket.factory.class.default??????

org.apache.hadoop.net.StandardSocketFactory

缺省的socket工廠類設置

53

hadoop.rpc.socket.factory.class.ClientProtocol

?

dfs連接時的缺省socket工廠類

54

hadoop.socks.server??????????????????????????

?

服務端的工廠類缺省設置為SocksSocketFactory.

55

topology.node.switch.mapping.impl????????????

org.apache.hadoop.net.ScriptBasedMapping

?

56

topology.script.file.name????????????????????

?

?

57

topology.script.number.args??????????????????

100?

參數數量最多為100

58

hadoop.security.uid.cache.secs???????????????

14400

?

?

?

?

?

?

3.2??hdfs-default.html

?

序號

參數名

參數值

參數說明

1

dfs.namenode.logging.level???????

info?????????

輸出日志類型

2

dfs.secondary.http.address???????

0.0.0.0:50090

備份名稱節點的http協議訪問地址與端口????????????????????????????????????????????????????????????????????????????????????

3

dfs.datanode.address?????????????

0.0.0.0:50010

數據節點的TCP管理服務地址和端口

4

dfs.datanode.http.address????????

0.0.0.0:50075

數據節點的HTTP協議訪問地址和端口

5

dfs.datanode.ipc.address?????????

0.0.0.0:50020

數據節點的IPC服務訪問地址和端口

6

dfs.datanode.handler.count???????

3???????? ????

數據節點的服務連接處理線程數

7

dfs.http.address?????????????????

0.0.0.0:50070

名稱節點的http協議訪問地址與端口

8

dfs.https.enable?????????????????

false????????

支持https訪問方式標識

9

dfs.https.need.client.auth???????

false????????

客戶端指定https訪問標識

10

dfs.https.server.keystore.resource

ssl-server.xml

Ssl密鑰服務端的配置文件

11

dfs.https.client.keystore.resource

ssl-client.xml

Ssl密鑰客戶端的配置文件

12

dfs.datanode.https.address???????

0.0.0.0:50475

數據節點的HTTPS協議訪問地址和端口

13

dfs.https.address????????????????

0.0.0.0:50470

名稱節點的HTTPS協議訪問地址和端口

14

dfs.datanode.dns.interface???????

default??????

數據節點采用IP地址標識

15

dfs.datanode.dns.nameserver??????

default??????

指定DNSIP地址

16

dfs.replication.considerLoad?????

true?????????

加載目標或不加載的標識

17

dfs.default.chunk.view.size??????

32768??????? ?

瀏覽時的文件塊大小設置為32K

18

dfs.datanode.du.reserved?????????

0????????????

每個卷預留的空閑空間數量

19

dfs.name.dir?????????????????????

${hadoop.tmp.dir}/dfs/name

存貯在本地的名字節點數據鏡象的目錄,作為名字節點的冗余備份

20

dfs.name.edits.dir???????????????

${dfs.name.dir}??????????

存貯文件操作過程信息的存貯目錄

21

dfs.web.ugi??????????????????????

webuser,webgroup?????????

Web接口訪問的用戶名和組的帳戶設定

22

dfs.permissions??????????????????

true?????????????????????

文件操作時的權限檢查標識。

23

dfs.permissions.supergroup???????

supergroup???????????????

超級用戶的組名定義

24

dfs.block.access.token.enable????

false????????????????????

數據節點訪問令牌標識

25

dfs.block.access.key.update.interval

600??????????????????????

升級訪問鑰時的間隔時間

26

dfs.block.access.token.lifetime????

600??????????????????????

訪問令牌的有效時間

27

dfs.data.dir?????????? ?????????????

${hadoop.tmp.dir}/dfs/data

數據節點的塊本地存放目錄

28

dfs.datanode.data.dir.perm?????????

755??????????????????????

數據節點的存貯塊的目錄訪問權限設置

29

dfs.replication????????????????????

3????????????????????????

缺省的塊復制數量

30

dfs.replication.max?????????????? ??

512??????????????????????

塊復制的最大數量

31

dfs.replication.min????????????????

1????????????????????????

塊復制的最小數量?

32

dfs.block.size?????????????????????

67108864?????????????????

缺省的文件塊大小為64M

33

dfs.df.interval????????????????????

60000???????? ????????????

磁盤空間統計間隔為6

34

dfs.client.block.write.retries?????

3????????????????????????

塊寫入出錯時的重試次數

35

dfs.blockreport.intervalMsec???????

3600000??????????????????

塊的報告間隔時為1小時

36

dfs.blockreport.initialDelay???????

0????????????????????????

塊順序報告的間隔時間

37

dfs.heartbeat.interval?????????????

3????????????????????????

數據節點的心跳檢測間隔時間

38

dfs.namenode.handler.count?????????

10???????????????????????

名稱節點的連接處理的線程數量

39

dfs.safemode.threshold.pct?????????

0.999f???????????????????

啟動安全模式的閥值設定

?

40

dfs.safemode.extension?????????????

30000????????????????????

當閥值達到量值后擴展的時限

41

dfs.balance.bandwidthPerSec????????

1048576??????????????????

啟動負載均衡的數據節點可利用帶寬最大值為1M

42

dfs.hosts??????????????????????????

?

可與名稱節點連接的主機地址文件指定。

43

dfs.hosts.exclude??????????????????

?

不充計與名稱節點連接的主機地址文件設定

44

dfs.max.objects????????????????????

0

文件數、目錄數、塊數的最大數量

45

dfs.namenode.decommission.interval?

30

名稱節點解除命令執行時的監測時間周期

46

dfs.namenode.decommission.nodes.per.interval

5???????

名稱節點解除命令執行是否完檢測次數

47

dfs.replication.interval???????????????????

3???????

名稱節點計算數據節點的復制工作的周期數.

48

dfs.access.time.precision??????????????????

3600000?

充許訪問文件的時間精確到1小時

49

dfs.support.append?????????????????????????

false???

是否充許鏈接文件指定

50

dfs.namenode.delegation.key.update-interval

86400000

名稱節點上的代理令牌的主key的更新間隔時間為24小時

51

dfs.namenode.delegation.token.max-lifetime?

604800000

代理令牌的有效時間最大值為7

52

dfs.namenode.delegation.token.renew-interval

86400000

代理令牌的更新時間為24小時

53

dfs.datanode.failed.volumes.tolerated??????

0???????

決定停止數據節點提供服務充許卷的出錯次數。0次則任何卷出錯都要停止數據節點

?

?

3.3??mapred-default.html

序號

參數名

參數值

參數說明

1

hadoop.job.history.location

?

作業跟蹤管理器的靜態歷史文件的存放目錄。

2

hadoop.job.history.user.location

?

可以指定具體某個作業的跟蹤管理器的歷史文件存放目錄

3

mapred.job.tracker.history.completed.location

?

已完成作業的歷史文件的存放目錄

4

io.sort.factor

?10?????????

排完序的文件的合并時的打開文件句柄數

5

io.sort.mb

?100????????

排序文件的內存緩存大小為100M

6

io.sort.record.percent

?0.05???????

排序線程阻塞的內存緩存剩余比率

7

io.sort.spill.percent

?0.80???????

當緩沖占用量為該值時,線程需要將內容先備份到磁盤中。

8

io.map.index.skip

?0??????????

索引條目的間隔設定

9

mapred.job.tracker

?local??????

作業跟蹤管理器是否和MR任務在一個進程中

10

mapred.job.tracker.http.address

0.0.0.0:50030

作業跟蹤管理器的HTTP服務器訪問端口和地址

11

mapred.job.tracker.handler.count??????????

10????????

作業跟蹤管理器的管理線程數,線程數比例是任務管理跟蹤器數量的0.04

12

mapred.task.tracker.report.address????????

127.0.0.1:0

任務管理跟蹤器的主機地址和端口地址

?

13

mapred.local.dir??????????????????????????

${hadoop.tmp.dir}/mapred/local?

MR的中介數據文件存放目錄

14

mapred.system.dir?????????????????????????

${hadoop.tmp.dir}/mapred/system

MR的控制文件存放目錄

15

mapreduce.jobtracker.staging.root.dir?????

${hadoop.tmp.dir}/mapred/staging

每個正在運行作業文件的存放區

16

mapred.temp.dir???????????????????????????

${hadoop.tmp.dir}/mapred/temp??

MR臨時共享文件存放區???

17

mapred.local.dir.minspacestart????????????

0?????????????????????? ????????

MR本地中介文件刪除時,不充許有任務執行的數量值。

18

mapred.local.dir.minspacekill?????????????

0??????????????????????????????

MR本地中介文件刪除時,除非所有任務都已完成的數量值。

19

mapred.tasktracker.expiry.interval????????

600000?????????????????????????

任務管理跟蹤器不發送心跳的累計時間間隔超過600秒,則任務管理跟蹤器失效

20

mapred.tasktracker.resourcecalculatorplugin

?

指定的一個用戶訪問資源信息的類實例

21

mapred.tasktracker.taskmemorymanager.monitoring-interval

5000???

監控任務管理跟蹤器任務內存使用率的時間間隔

22

mapred.tasktracker.tasks.sleeptime-before-sigkill??????

5000???

發出進程終止后,間隔5秒后發出進程消亡信號

?

23

mapred.map.tasks???????????????????????????????????????

2??????

每個作業缺省的map任務數為2

24

mapred.reduce.tasks????????????????????????????????????

1??????

每個作業缺省的reduce任務數為1

25

mapreduce.tasktracker.outofband.heartbeat??????????????

false??

讓在任務結束后發出一個額外的心跳信號

26

mapreduce.tasktracker.outofband.heartbeat.damper???????

1000000

當額外心跳信號發出量太多時,則適當阻止

?

27

mapred.jobtracker.restart.recover??????????????????????

false??

充許任務管理器恢復時采用的方式

28

mapred.jobtracker.job.history.block.size???????????????

3145728

作業歷史文件塊的大小為3M?

29

mapreduce.job.split.metainfo.maxsize???????????????????

10000000

分隔元信息文件的最大值是10M以下

?

30

mapred.jobtracker.taskScheduler?????????????????????

org.apache.hadoop.mapred.JobQueueTaskScheduler

設定任務的執行計劃實現類

31

mapred.jobtracker.taskScheduler.maxRunningTasksPerJob

?

作業同時運行的任務數的最大值

32

mapred.map.max.attempts?????????????????????????????

4????

Map任務的重試次數

33

mapred.reduce.max.attempts??????????????????????????

4????

Reduce任務的重試次數

34

mapred.reduce.parallel.copies????????????????????? ??

5????

在復制階段時reduce并行傳送的值。

35

mapreduce.reduce.shuffle.maxfetchfailures???????????

10???

map輸出的最大重試次數

36

mapreduce.reduce.shuffle.connect.timeout????????????

180000

REDUCE任務連接任務管理器獲得map輸出時的總耗時是3分鐘??????????

?

37

mapreduce.reduce.shuffle.read.timeout???????????????

180000

REDUCE任務等待map輸出數據的總耗時是3分鐘

38

mapred.task.timeout?????????????????????????????????

600000

如果任務無讀無寫時的時間耗時為10分鐘,將被終止

39

mapred.tasktracker.map.tasks.maximum????????????????

2????

任管管理器可同時運行map任務數為2

40

mapred.tasktracker.reduce.tasks.maximum?????????????

2????

任管管理器可同時運行reduce任務數為2

41

mapred.jobtracker.completeuserjobs.maximum?

100????

當用戶的完成作業數達100個后,將其放入作業歷史文件中

42

mapreduce.reduce.input.limit???????????????

-1?????

Reduce輸入量的限制。

43

mapred.job.tracker.retiredjobs.cache.size??

1000???

作業狀態為已不在執行的保留在內存中的量為1000

44

mapred.job.tracker.jobhistory.lru.cache.size

5??????

作業歷史文件裝載到內存的數量

45

mapred.child.java.opts?????????????????????

-Xmx200m

啟動task管理的子進程時的內存設置

46

mapred.child.env???????????????????????????

???????

子進程的參數設置

47

mapred.child.ulimit????????????????????????

???????

虛擬機所需內存的設定。

48

mapred.cluster.map.memory.mb???????????????

-1?????

?

49

mapred.cluster.reduce.memory.mb????????????

-1?????

?

50

mapred.cluster.max.map.memory.mb???????????

-1?????

?

51

mapred.cluster.max.reduce.memory.mb????????

-1?????

?

52

mapred.job.map.memory.mb???????????????????

-1?????

?

53

mapred.job.reduce.memory.mb????????????????

-1?????

?

54

mapred.child.tmp???????????????????????????

/tmp???

Mr任務信息的存放目錄

55

mapred.inmem.merge.threshold???????????????

1000???

內存中的合并文件數設置

56

mapred.job.shuffle.merge.percent???????????

0.66???

??????????????????????????????????????????????????????????????????????? ?????????????

57

mapred.job.shuffle.input.buffer.percent????

0.70???

?

58

mapred.job.reduce.input.buffer.percent?????

0.0????

?

59

mapred.map.tasks.speculative.execution?????

true???

Map任務的多實例并行運行標識

60

mapred.reduce.tasks.speculative.execution??

true???

Reduce任務的多實例并行運行標識

61

mapred.job.reuse.jvm.num.tasks

1???????????

每虛擬機運行的任務數

62

mapred.min.split.size

0???????????

Map的輸入數據被分解的塊數設置

63

mapred.jobtracker.maxtasks.per.job

-1??????????

一個單獨作業的任務數設置

64

mapred.submit.replication

10??????????

提交作業文件的復制級別

65

mapred.tasktracker.dns.interface

default?????

任務管理跟蹤器是否報告IP地址名的開關?

66

mapred.tasktracker.dns.nameserver

default?????

作業和任務管理跟蹤器之間通訊方式采用的DNS服務的主機名或IP地址

67

tasktracker.http.threads

40??????????

http服務器的工作線程數量

68

mapred.task.tracker.http.address

0.0.0.0:50060

任務管理跟蹤器的http服務器的地址和端口

69

keep.failed.task.files

false???????

失敗任務是否保存到文件中

?

70

mapred.output.compress

false???????

作業的輸出是否壓縮

71

mapred.output.compression.type

RECORD??????

作業輸出采用NONE, RECORD or BLOCK三種方式中一種壓縮的寫入到流式文件

72

mapred.output.compression.codec

org.apache.hadoop.io.compress.DefaultCodec

壓縮類的設置

73

mapred.compress.map.output

false????????????????????????????????????

Map的輸出是否壓縮

74

mapred.map.output.compression.codec

org.apache.hadoop.io.compress.DefaultCodec

Map的輸出壓縮的實現類指定

75

map.sort.class

org.apache.hadoop.util.QuickSort?????????

排序鍵的排序類指定

76

mapred.userlog.limit.kb

0????????????????????????????????????????

每個任務的用戶日志文件大小

77

mapred.userlog.retain.hours

24???????????????????????????????????????

作業完成后的用戶日志留存時間為24小時

78

mapred.user.jobconf.limit

5242880??????????????????????????????????

Jobconf的大小為5M

79

mapred.hosts

?????????????????????????????????????????

可與作業管理跟蹤器連接的主機名

80

mapred.hosts.exclude

?? ???????????????????????????????????????

不可與作業管理跟蹤器連接的主機名

81

mapred.heartbeats.in.second????????????????????

100????????????????

作業管理跟蹤器的每秒中到達的心跳數量為100

82

mapred.max.tracker.blacklists??????????????????

4??????????????????

任務管理跟蹤器的黑名單列表的數量

83

mapred.jobtracker.blacklist.fault-timeout-window

180????????????????

任務管理跟蹤器超時180分鐘則訪任務將被重啟

84

mapred.jobtracker.blacklist.fault-bucket-width?

15?????????????????

?

85

mapred.max.tracker.failures????????????????????

4??????????????????

任務管理跟蹤器的失敗任務數設定

86

jobclient.output.filter????????????????????????

FAILED?????????????

控制任務的用戶日志輸出到作業端時的過濾方式

87

mapred.job.tracker.persist.jobstatus.active????

false??????????????

是否持久化作業管理跟蹤器的信息

88

mapred.job.tracker.persist.jobstatus.hours?????

0??????????????????

持久化作業管理跟蹤器的信息的保存時間

89

mapred.job.tracker.persist.jobstatus.dir???????

/jobtracker/jobsInfo

作業管理跟蹤器的信息存放目錄

90

mapreduce.job.complete.cancel.delegation.tokens

true???????????????

恢復時是否變更領牌???

91

mapred.task.profile????????????????????????????

false??????????????

任務分析信息是否建設標志

92

mapred.task.profile.maps???????????????????????

0-2????????????????

設置map任務的分析范圍

93

mapred.task.profile.reduces????????????????????

0-2????????????????

設置reduce任務的分析范圍

94

mapred.line.input.format.linespermap???????????

1??????????????????

每次切分的行數設置

95

mapred.skip.attempts.to.start.skipping?????????

2??????????????????

在跳轉模式未被設定的情況下任務的重試次數????????????????????????????????????????????????????????????????????????????????????

96

mapred.skip.map.auto.incr.proc.count???????????

true???????????????

MapRunner在調用map功能后的增量處理方式設置

97

mapred.skip.reduce.auto.incr.proc.count????????

true???????????????

在調用reduce功能后的增量處理方式設置

98

mapred.skip.out.dir??????????????????????? ?????

???????????????????

跳過記錄的輸出目錄

99

mapred.skip.map.max.skip.records???????????????

0?????? ????????????

?

100

mapred.skip.reduce.max.skip.groups?????????????

0??????????????????

?

101

job.end.retry.attempts?????????????????????????

0??????????????????

Hadoop償試連接通知器的次數??

102

job.end.retry.interval?????????????????????????

30000??????????????

通知償試回應的間隔操作為30

103

hadoop.rpc.socket.factory.class.JobSubmissionProtocol

?

指定與作業跟蹤管理器的通訊方式,缺省是采用rpc方式

104

mapred.task.cache.levels????????????????????????????

2?????

任務緩存級別設置

105

mapred.queue.names??????????????????????????????????

default

分隔作業隊例的分隔符設定

106

mapred.acls.enabled?????????????????????????????????

false?

指定ACL訪問控制列表

107

mapred.queue.default.state?? ????????????????????????

RUNNING

定義隊列的狀態

108

mapred.job.queue.name???????????????????????????????

default

已提交作業的隊列設定

109

mapreduce.job.acl-modify-job????????????????????????

??????

指定可修改作業的ACL列表

110

mapreduce.job.acl-view-job??????????????????????????

??????

指定可瀏臨作業的ACL列表

111

mapred.tasktracker.indexcache.mb????????????????????

10????

任務管理跟蹤器的索引內存的最大容器

112

mapred.combine.recordsBeforeProgress????????????????

10000?

在聚合處理時的記錄塊數

?

113

mapred.merge.recordsBeforeProgress??????????????????

10000?

在匯總處理時的記錄塊數

114

mapred.reduce.slowstart.completed.maps??????????????

0.05??

?

115

mapred.task.tracker.task-controller?????????????????

org.apache.hadoop.mapred.DefaultTaskController

任務管理器的設定

116

mapreduce.tasktracker.group?????????????????? ???????

?????????????????????????????????????????????

任務管理器的組成員設定

117

mapred.healthChecker.script.path????????????????????

?????????????????????????????????????????????

腳本的絕對路徑指定,這些腳本是心跳服務的

118

mapred.healthChecker.interval???????????????????????

60000????????????????????????????????????????

節點心跳信息的間隔

119

mapred.healthChecker.script.timeout?????????????????

600000???????????????????????????????????????

?

120

mapred.healthChecker.script.args????????????????????

?????????????????????????????????????????????

參數列表

?

121

mapreduce.job.counters.limit??????????? ?????????????

120??????????????????????????????????????????

作業計數器的最小值

???

總結

以上是生活随笔為你收集整理的hadoop三个配置文件的参数含义说明的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。