MongoDB MapReduce

MapReduce是一種計算模型，簡單的說就是將大批量的工作(數(shù)據(jù))分解(MAP)執(zhí)行，然后再將結(jié)果合并成最終結(jié)果(REDUCE)。這樣做的好處是可以在任務(wù)被分解后，可以通過大量機器進(jìn)行并行計算，減少整個操作的時間。

上面是MapReduce的理論部分，下面說實際的應(yīng)用，下面以MongoDB MapReduce為例說明。

下面是MongoDB官方的一個例子：

> db.things.insert( { _id : 1, tags : ['dog', 'cat'] } );

> db.things.insert( { _id : 2, tags : ['cat'] } );

> db.things.insert( { _id : 3, tags : ['mouse', 'cat', 'dog'] } );

> db.things.insert( { _id : 4, tags : []? } );

> // map function

> map = function(){

...??? this.tags.forEach(

...??????? function(z){

...??????????? emit( z , { count : 1 } );

...??????? }

...??? );

...};

> // reduce function

> reduce = function( key , values ){

...??? var total = 0;

...??? for ( var i=0; i

...??????? total += values[i].count;

...??? return { count : total };

...};

db.things.mapReduce(map,reduce,{out:'tmp'})

{

"result" : "tmp",

"timeMillis" : 316,

"counts" : {

"input" : 4,

"emit" : 6,

"output" : 3

},

"ok" : 1,

}

> db.tmp.find()

{ "_id" : "cat", "value" : { "count" : 3 } }

{ "_id" : "dog", "value" : { "count" : 2 } }

{ "_id" : "mouse", "value" : { "count" : 1 } }

例子很簡單，計算一個標(biāo)簽系統(tǒng)中每個標(biāo)簽出現(xiàn)的次數(shù)。

這里面，除了emit函數(shù)之外，所有都是標(biāo)準(zhǔn)的js語法,這個emit函數(shù)是非常重要的，可以這樣理解，當(dāng)所有需要計算的文檔(因為在mapReduce時，可以對文檔進(jìn)行過濾，接下來會講到)執(zhí)行完了map函數(shù)，map函數(shù)會返回key_values對，key即是emit中的第一個參數(shù)key，values是對應(yīng)同一key的emit的n個第二個參數(shù)組成的數(shù)組。這個key_values會作為參數(shù)傳遞給reduce，分別作為第1.2個參數(shù)。

reduce函數(shù)的任務(wù)就是將key-values變成key-value，也就是把values數(shù)組變成一個單一的值value。當(dāng)key-values中的values數(shù)組過大時，會被再切分成很多個小的key-values塊，然后分別執(zhí)行Reduce函數(shù)，再將多個塊的結(jié)果組合成一個新的數(shù)組，作為Reduce函數(shù)的第二個參數(shù)，繼續(xù)Reducer操作?？梢灶A(yù)見，如果我們初始的values非常大，可能還會對第一次分塊計算后組成的集合再次Reduce。這就類似于多階的歸并排序了。具體會有多少重，就看數(shù)據(jù)量了。

reduce一定要能被反復(fù)調(diào)用，不論是映射環(huán)節(jié)還是前一個簡化環(huán)節(jié)。所以reduce返回的文檔必須能作為reduce的第二個參數(shù)的一個元素。

(當(dāng)書寫Map函數(shù)時，emit的第二個參數(shù)組成數(shù)組成了reduce函數(shù)的第二個參數(shù)，而Reduce函數(shù)的返回值，跟emit函數(shù)的第二個參數(shù)形式要一致，多個reduce函數(shù)的返回值可能會組成數(shù)組作為新的第二個輸入?yún)?shù)再次執(zhí)行Reduce操作。)

MapReduce函數(shù)的參數(shù)列表如下：

db.runCommand(

{ mapreduce : ,

map : ,

reduce :

[, query : ]

[, sort : ]

[, limit : ]

[, out : ]

[, keeptemp: ]

[, finalize : ]

[, scope : ]

[, verbose : true]

}

);

或者這么寫：

db.collection.mapReduce(

,

,

{

,

,

,

,

,

,

,

,

}

)

1.mapreduce：指定要進(jìn)行mapreduce處理的collection

2.map：map函數(shù)

3.reduce：reduce函數(shù)

4.out：輸出結(jié)果的collection的名字，不指定會默認(rèn)創(chuàng)建一個隨機名字的collection(如果使用了out選項，就不必指定keeptemp：true了，因為已經(jīng)隱含在其中了)

5.query：一個篩選條件，只有滿足條件的文檔才會調(diào)用map函數(shù)。(query。limit，sort可以隨意組合)

6.sort：和limit結(jié)合的sort排序參數(shù)(也是在發(fā)往map函數(shù)前給文檔排序)，可以優(yōu)化分組機制

7.limit：發(fā)往map函數(shù)的文檔數(shù)量的上限(要是沒有l(wèi)imit，單獨使用sort的用處不大)

8.keytemp：true或false，表明結(jié)果輸出到的collection是否是臨時的，如果想在連接關(guān)閉后仍然保留這個集合，就要指定keeptemp為true，如果你用的是MongoDB的mongo客戶端連接，那必須exit后才會刪除。如果是腳本執(zhí)行，腳本退出或調(diào)用close會自動刪除結(jié)果collection

9.finalize：是函數(shù)，它會在執(zhí)行完map、reduce后再對key和value進(jìn)行一次計算并返回一個最終結(jié)果，這是處理過程的最后一步，所以finalize就是一個計算平均數(shù)，剪裁數(shù)組，清除多余信息的恰當(dāng)時機

10.scope：javascript代碼中要用到的變量，在這里定義的變量在map，reduce，finalize函數(shù)中可見

11.verbose：用于調(diào)試的詳細(xì)輸出選項，如果想看MpaReduce的運行過程，可以設(shè)置其為true。也可以print把map，reduce，finalize過程中的信息輸出到服務(wù)器日志上。

執(zhí)行MapReduce函數(shù)返回的文檔結(jié)構(gòu)如下：

{ result : ,

timeMillis : ,

counts : {

input : ,

emit : ,

output :

} ,

ok : <1_if_ok>,

[, err : ]

}

1.result：儲存結(jié)果的collection的名字,這是個臨時集合，MapReduce的連接關(guān)閉后自動就被刪除了。

2.timeMillis：執(zhí)行花費的時間，毫秒為單位

3.input：滿足條件被發(fā)送到map函數(shù)的文檔個數(shù)

4.emit：在map函數(shù)中emit被調(diào)用的次數(shù)，也就是所有集合中的數(shù)據(jù)總量

5.ouput：結(jié)果集合中的文檔個數(shù)(count對調(diào)試非常有幫助)

6.ok：是否成功，成功為1

7.err：如果失敗，這里可以有失敗原因，不過從經(jīng)驗上來看，原因比較模糊，作用不大

java代碼執(zhí)行MapReduce的方法：

public void MapReduce() {

Mongo mongo = new Mongo("localhost",27017);

DB db = mongo.getDB("qimiguangdb");

DBCollection coll = db.getCollection("collection1");

String map = "function() { emit(this.name, {count:1});}";

String reduce = "function(key, values) {";

reduce=reduce+"var total = 0;";

reduce=reduce+"for(var i=0;i

reduce=reduce+"return {count:total};}";

String result = "resultCollection";

MapReduceOutput mapReduceOutput = coll.mapReduce(map,

reduce.toString(), result, null);

DBCollection resultColl = mapReduceOutput.getOutputCollection();

DBCursor cursor= resultColl.find();

while (cursor.hasNext()) {

System.out.println(cursor.next());

}

}

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的mongo java mapreduce_MongoDB中的MapReduce简介的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。