Hadoop之OutputFormat數據輸出詳解

---

目錄

OutputFormat接口實現類

自定義OutputFormat

---

1. OutputFormat接口實現類

OutputFormat是MapReduce輸出的基類，所有實現MapReduce輸出都實現了 OutputFormat接口。下面我們介紹幾種常見的OutputFormat實現類。

文本輸出TextOutputFormat
默認的輸出格式是TextOutputFormat，它把每條記錄寫為文本行。它的鍵和值可以是任意類型，因為TextOutputFormat調用toString()方法把它們轉換為字符串。

SequenceFileOutputFormat
SequenceFileOutputFormat將它的輸出寫為一個序列化文件。如果輸出需要作為后續 MapReduce任務的輸入，這便是一種好的輸出格式，因為它的格式緊湊，很容易被壓縮。

自定義OutputFormat
根據用戶需求，自定義實現輸出。

---

2. 自定義OutputFormat

為了實現控制最終文件的輸出路徑，可以自定義OutputFormat。
要在一個mapreduce程序中根據數據的不同輸出兩類結果到不同目錄，這類靈活的輸出需求可以通過自定義outputformat來實現。

自定義OutputFormat步驟

自定義一個類繼承FileOutputFormat。

改寫recordwriter，具體改寫輸出數據的方法write()。

總結

以上是生活随笔為你收集整理的Hadoop之OutputFormat数据输出详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。