Hadoop之Join、計數器、數據清洗概述

---

目錄

Reduce join

Map join

計數器應用

數據清洗（ETL）

---

1. Reduce join

原理

Map端的主要工作：為來自不同表(文件)的key/value對打標簽以區別不同來源的記錄。然后用連接字段作為key，其余部分和新加的標志作為value，最后進行輸出。

Reduce端的主要工作：在reduce端以連接字段作為key的分組已經完成，我們只需要在每一個分組當中將那些來源于不同文件的記錄(在map階段已經打標志)分開，最后進行合并就ok了。

該方法的缺點
這種方式的缺點很明顯就是會造成map和reduce端也就是shuffle階段出現大量的數據傳輸，效率很低。

---

2. Map join

使用場景
一張表十分小、一張表很大。

解決方案
在map端緩存多張表，提前處理業務邏輯，這樣增加map端業務，減少reduce端數據的壓力，盡可能的減少數據傾斜。

具體辦法：采用distributedcache

在mapper的setup階段，將文件讀取到緩存集合中。

在驅動函數中加載緩存。
job.addCacheFile(new URI(“file:/e:/mapjoincache/pd.txt”));// 緩存普通文件到task運行節點，如圖下圖所示

---

3. 計數器應用

Hadoop為每個作業維護若干內置計數器，以描述多項指標。例如，某些計數器記錄已處理的字節數和記錄數，使用戶可監控已處理的輸入數據量和已產生的輸出數據量。

API

采用枚舉的方式統計計數
enum MyCounter{MALFORORMED,NORMAL}
//對枚舉定義的自定義計數器加1
context.getCounter(MyCounter.MALFORORMED).increment(1);

采用計數器組、計數器名稱的方式統計
context.getCounter(“counterGroup”, “countera”).increment(1);
組名和計數器名稱隨便起，但最好有意義。

計數結果在程序運行后的控制臺上查看。

---

4. 數據清洗（ETL）

概述
在運行核心業務Mapreduce程序之前，往往要先對數據進行清洗，清理掉不符合用戶要求的數據。清理的過程往往只需要運行mapper程序，不需要運行reduce程序。

總結

以上是生活随笔為你收集整理的Hadoop之Join、计数器、数据清洗概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。