Hadoop之Join、計(jì)數(shù)器、數(shù)據(jù)清洗概述

---

目錄

Reduce join

Map join

計(jì)數(shù)器應(yīng)用

數(shù)據(jù)清洗（ETL）

---

1. Reduce join

原理

Map端的主要工作：為來(lái)自不同表(文件)的key/value對(duì)打標(biāo)簽以區(qū)別不同來(lái)源的記錄。然后用連接字段作為key，其余部分和新加的標(biāo)志作為value，最后進(jìn)行輸出。

Reduce端的主要工作：在reduce端以連接字段作為key的分組已經(jīng)完成，我們只需要在每一個(gè)分組當(dāng)中將那些來(lái)源于不同文件的記錄(在map階段已經(jīng)打標(biāo)志)分開(kāi)，最后進(jìn)行合并就ok了。

該方法的缺點(diǎn)
這種方式的缺點(diǎn)很明顯就是會(huì)造成map和reduce端也就是shuffle階段出現(xiàn)大量的數(shù)據(jù)傳輸，效率很低。

---

2. Map join

使用場(chǎng)景
一張表十分小、一張表很大。

解決方案
在map端緩存多張表，提前處理業(yè)務(wù)邏輯，這樣增加map端業(yè)務(wù)，減少reduce端數(shù)據(jù)的壓力，盡可能的減少數(shù)據(jù)傾斜。

具體辦法：采用distributedcache

在mapper的setup階段，將文件讀取到緩存集合中。

在驅(qū)動(dòng)函數(shù)中加載緩存。
job.addCacheFile(new URI(“file:/e:/mapjoincache/pd.txt”));// 緩存普通文件到task運(yùn)行節(jié)點(diǎn)，如圖下圖所示

---

3. 計(jì)數(shù)器應(yīng)用

Hadoop為每個(gè)作業(yè)維護(hù)若干內(nèi)置計(jì)數(shù)器，以描述多項(xiàng)指標(biāo)。例如，某些計(jì)數(shù)器記錄已處理的字節(jié)數(shù)和記錄數(shù)，使用戶可監(jiān)控已處理的輸入數(shù)據(jù)量和已產(chǎn)生的輸出數(shù)據(jù)量。

API

采用枚舉的方式統(tǒng)計(jì)計(jì)數(shù)
enum MyCounter{MALFORORMED,NORMAL}
//對(duì)枚舉定義的自定義計(jì)數(shù)器加1
context.getCounter(MyCounter.MALFORORMED).increment(1);

采用計(jì)數(shù)器組、計(jì)數(shù)器名稱的方式統(tǒng)計(jì)
context.getCounter(“counterGroup”, “countera”).increment(1);
組名和計(jì)數(shù)器名稱隨便起，但最好有意義。

計(jì)數(shù)結(jié)果在程序運(yùn)行后的控制臺(tái)上查看。

---

4. 數(shù)據(jù)清洗（ETL）

概述
在運(yùn)行核心業(yè)務(wù)Mapreduce程序之前，往往要先對(duì)數(shù)據(jù)進(jìn)行清洗，清理掉不符合用戶要求的數(shù)據(jù)。清理的過(guò)程往往只需要運(yùn)行mapper程序，不需要運(yùn)行reduce程序。

總結(jié)

以上是生活随笔為你收集整理的Hadoop之Join、计数器、数据清洗概述的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。