?今天在讀hadoop源碼時發現DefaultStringifier這個類很有意思，主要是用來從configuration對象中get或set key、value鍵值對的時候使用。

具體原因不是很清楚，在網上google了下：

?寫MapReduce程序通常要傳遞各種各樣的參數，選擇合適的方式來傳遞參數既能提高工作效率，也可以避免bug的產生。根據參數的大小，可以粗略的分為以下幾種。

最直接的方式就是使用Configuration的各種set方法，對于基本數據類型都有很好的支持，比如傳遞kmeans聚類算法的中心點個數。

如何傳遞一個對象型參數？話說所有的對象都是由基本類型構建的，所以我們可以覆蓋這個對象的toString()方法，將它的所有元素表示成字符串，然后使用Configuration.set(name, value)傳遞這個字符串。然后在Mapper端獲得這個字符串，做析構。這種樸素的方法有兩個缺點。首先，將對象變成字符串會有精度上的損失，比如?double類型轉換成字符串，不僅精度有損失，而且8字節的空間用字符串來表示可能會變成幾十字節。其次，由于字符串化和反字符串化分散在不同的地方，很容易產生bug，如果修改了這個對象的結構，這種bug產生的幾率非常大。既然有這種需求存在，難道hadoop沒有提供nice點的方法嗎？有，不過在api文檔中沒有直接說明。

正確的方法是，讓這個對象實現Writable接口，使它具有序列化的能力，然后使用org.apache.hadoop.io.DefaultStringifier的store(conf,??obj, keyname)和load(conf, keyname, itemclass)靜態方法設置和獲取這個對象。他的主要思想就是將這個對象序列化成一個字節數組后，用Base64編碼成一個字符串，然后傳遞給?conf,?解析的時候與之類似。

如何傳遞更大的參數，比如分詞用的語料庫等等？可以使用hadoop的緩存文件DistributedCache。

1、使用configuration的set()和get()方法，這里的name和value都是String型

Configuration.set(name, value)

Configuration.get(name)

這種方法適合基本數據類型的傳遞。

2、使用Stringifier?接口。

DefaultStringifier.store(conf, object ,"key");

將object以序列化后以指定的key存在conf中。

object = DefaultStringifier.load(conf, "key", variableClass );

從conf中取出object。

需要指出的是使用第二種方法的對象必須是可序列化的。Hadoop的序列化是通過Writable接口來實現的，在org.apache.hadoop.io包下包含了大量的可序列化的組件，它們都實現了Writable接口，Writable接口提供了兩個方法，write和readFields，分別用來序列化和反序列化，

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的hadoop 之DefaultStringifier的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。