一、調優的目的
充分的利用機器的性能，更快的完成mr程序的計算任務。甚至是在有限的機器條件下，能夠支持運行足夠多的mr程序。
二、調優的總體概述
從mr程序的內部運行機制，我們可以了解到一個mr程序由mapper和reducer兩個階段組成，其中mapper階段包括數據的讀取、map處理以及寫出操作(排序和合并/sort&merge)，而reducer階段包含mapper輸出數據的獲取、數據合并(sort&merge)、reduce處理以及寫出操作。那么在這七個子階段中，能夠進行較大力度的進行調優的就是map輸出、reducer數據合并以及reducer個數這三個方面的調優操作。也就是說雖然性能調優包括cpu、內存、磁盤io以及網絡這四個大方面，但是從mr程序的執行流程中，我們可以知道主要有調優的是內存、磁盤io以及網絡。在mr程序中調優，主要考慮的就是減少網絡傳輸和減少磁盤IO操作，故本次課程的mr調優主要包括服務器調優、代碼調優、mapper調優、reducer調優以及runner調優這五個方面。
三、服務器調優
服務器調優主要包括服務器參數調優和jvm調優。在本次項目中，由于我們使用hbase作為我們分析數據的原始數據存儲表，所以對于hbase我們也需要進行一些調優操作。除了參數調優之外，和其他一般的java程序一樣，還需要進行一些jvm調優。

hdfs調優
1. dfs.datanode.failed.volumes.tolerated: 允許發生磁盤錯誤的磁盤數量，默認為0，表示不允許datanode發生磁盤異常。當掛載多個磁盤的時候，可以修改該值。
2. dfs.replication: 復制因子，默認3
3. dfs.namenode.handler.count: namenode節點并發線程量，默認10
4. dfs.datanode.handler.count：datanode之間的并發線程量，默認10。
5. dfs.datanode.max.transfer.threads：datanode提供的數據流操作的并發線程量，默認4096。
一般將其設置為linux系統的文件句柄數的85%~90%之間，查看文件句柄數語句ulimit -a，修改vim /etc/security/limits.conf, 不能設置太大
文件末尾，添加
* soft nofile 65535
* hard nofile 65535
注意：句柄數不能夠太大，可以設置為1000000以下的所有數值，一般不設置為-1。
異常處理：當設置句柄數較大的時候，重新登錄可能出現unable load session的提示信息，這個時候采用單用戶模式進行修改操作即可。
單用戶模式：
啟動的時候按'a'鍵，進入選擇界面，然后按'e'鍵進入kernel修改界面，然后選擇第二行'kernel...'，按'e'鍵進行修改，在最后添加空格+single即可，按回車鍵回到修改界面，最后按'b'鍵進行單用戶模式啟動，當啟動成功后，還原文件后保存，最后退出(exit)重啟系統即可。
6. io.file.buffer.size: 讀取/寫出數據的buffer大小，默認4096，一般不用設置，推薦設置為4096的整數倍(物理頁面的整數倍大小)。

hbase調優
1. 設置regionserver的內存大小，默認為1g，推薦設置為4g。
修改conf/hbase-env.sh中的HBASE_HEAPSIZE=4g
2. hbase.regionserver.handler.count: 修改客戶端并發線程數，默認為10。設置規則為，當put和scans操作比較的多的時候，將其設置為比較小的值；當get和delete操作比較多的時候，將其設置為比較大的值。原因是防止頻繁GC操作導致內存異常。
3. 自定義hbase的分割和緊縮操作，默認情況下hbase的分割機制是當region大小達到hbase.hregion.max.filesize(10g)的時候進行自動分割，推薦每個regionserver的region個數在20~500個為最佳。hbase的緊縮機制是hbase的一個非常重要的管理機制，hbase的緊縮操作是非常消耗內存和cpu的，所以一般機器壓力比較大的話，推薦將其關閉，改為手動控制。
4. hbase.balancer.period： 設置hbase的負載均衡時間，默認為300000(5分鐘)，在負載比較高的集群上，將其值可以適當的改大。
5. hfile.block.cache.size：修改hflie文件塊在內存的占比，默認0.4。在讀應用比較多的系統中，可以適當的增大該值，在寫應用比較多的系統中，可以適當的減少該值，不過不推薦修改為0。
6. hbase.regionserver.global.memstore.upperLimit：修改memstore的內存占用比率上限，默認0.4，當達到該值的時候，會進行flush操作將內容寫的磁盤中。
7. hbase.regionserver.global.memstore.lowerLimit: 修改memstore的內存占用比率下限，默認0.38，進行flush操作后，memstore占用的內存比率必須不大于該值。
8. hbase.hregion.memstore.flush.size: 當memstore的值大于該值的時候，進行flush操作。默認134217728(128M)。
9. hbase.hregion.memstore.block.multiplier: 修改memstore阻塞塊大小比率值，默認為4。也就是說在memstore的大小超過4*hbase.hregion.memstore.flush.size的時候就會觸發寫阻塞操作。最終可能會導致出現oom異常。

mapreduce調優
1. mapreduce.task.io.sort.factor: mr程序進行合并排序的時候，打開的文件數量，默認為10個.
2. mapreduce.task.io.sort.mb: mr程序進行合并排序操作的時候或者mapper寫數據的時候，內存大小，默認100M
3. mapreduce.map.sort.spill.percent： mr程序進行flush操作的閥值，默認0.80。
4. mapreduce.reduce.shuffle.parallelcopies：mr程序reducer copy數據的線程數，默認5。
5. mapreduce.reduce.shuffle.input.buffer.percent: reduce復制map數據的時候指定的內存堆大小百分比，默認為0.70，適當的增加該值可以減少map數據的磁盤溢出，能夠提高系統性能。
6. mapreduce.reduce.shuffle.merge.percent：reduce進行shuffle的時候，用于啟動合并輸出和磁盤溢寫的過程的閥值，默認為0.66。如果允許，適當增大其比例能夠減少磁盤溢寫次數，提高系統性能。同mapreduce.reduce.shuffle.input.buffer.percent一起使用。
7. mapreduce.task.timeout：mr程序的task執行情況匯報過期時間，默認600000(10分鐘)，設置為0表示不進行該值的判斷。

四、代碼調優
代碼調優，主要是mapper和reducer中，針對多次創建的對象，進行代碼提出操作。這個和一般的java程序的代碼調優一樣。
五、mapper調優
mapper調優主要就是就一個目標：減少輸出量。我們可以通過增加combine階段以及對輸出進行壓縮設置進行mapper調優。
combine介紹：
實現自定義combine要求繼承reducer類，特點：
以map的輸出key/value鍵值對作為輸入輸出鍵值對，作用是減少網絡輸出，在map節點上就合并一部分數據。
比較適合，map的輸出是數值型的，方便進行統計。
壓縮設置：
在提交job的時候分別設置啟動壓縮和指定壓縮方式。
六、reducer調優
reducer調優主要是通過參數調優和設置reducer的個數來完成。
reducer個數調優：
要求：一個reducer和多個reducer的執行結果一致，不能因為多個reducer導致執行結果異常。
規則：一般要求在hadoop集群中的執行mr程序，map執行完成100%后，盡量早的看到reducer執行到33%，可以通過命令hadoop job -status job_id或者web頁面來查看。
原因： map的執行process數是通過inputformat返回recordread來定義的；而reducer是有三部分構成的，分別為讀取mapper輸出數據、合并所有輸出數據以及reduce處理，其中第一步要依賴map的執行，所以在數據量比較大的情況下，一個reducer無法滿足性能要求的情況下，我們可以通過調高reducer的個數來解決該問題。
優點：充分利用集群的優勢。
缺點：有些mr程序沒法利用多reducer的優點，比如獲取top n的mr程序。
七、runner調優
runner調優其實就是在提交job的時候設置job參數，一般都可以通過代碼和xml文件兩種方式進行設置。
1~8詳見ActiveUserRunner(before和configure方法)，9詳解TransformerBaseRunner(initScans方法)

1. mapred.child.java.opts: 修改childyard進程執行的jvm參數，針對map和reducer均有效，默認：-Xmx200m
2. mapreduce.map.java.opts： 需改map階段的childyard進程執行jvm參數，默認為空，當為空的時候，使用mapred.child.java.opts。
3. mapreduce.reduce.java.opts：修改reducer階段的childyard進程執行jvm參數，默認為空，當為空的時候，使用mapred.child.java.opts。
4. mapreduce.job.reduces： 修改reducer的個數，默認為1。可以通過job.setNumReduceTasks方法來進行更改。
5. mapreduce.map.speculative：是否啟動map階段的推測執行，默認為true。其實一般情況設置為false比較好。可通過方法job.setMapSpeculativeExecution來設置。
6. mapreduce.reduce.speculative：是否需要啟動reduce階段的推測執行，默認為true，其實一般情況設置為fase比較好。可通過方法job.setReduceSpeculativeExecution來設置。
7. mapreduce.map.output.compress：設置是否啟動map輸出的壓縮機制，默認為false。在需要減少網絡傳輸的時候，可以設置為true。
8. mapreduce.map.output.compress.codec：設置map輸出壓縮機制，默認為org.apache.hadoop.io.compress.DefaultCodec，推薦使用SnappyCodec(在之前版本中需要進行安裝操作，現在版本不太清楚，安裝參數：http://www.cnblogs.com/chengxin1982/p/3862309.html)
9. hbase參數設置
由于hbase默認是一條一條數據拿取的，在mapper節點上執行的時候是每處理一條數據后就從hbase中獲取下一條數據，通過設置cache值可以一次獲取多條數據，減少網絡數據傳輸。

?

轉載于:https://www.cnblogs.com/cac2020/p/11158852.html

總結

以上是生活随笔為你收集整理的【电商日志项目之七】项目调优的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。