mapreduce分组统计_Mongodb的分组统计MapReduce
ap-Reduce是一種計算模型,簡單的說就是將大批量的工作(數(shù)據(jù))分解(MAP)執(zhí)行,然后再將結(jié)果合并成最終結(jié)果(REDUCE)。
MongoDB提供的Map-Reduce非常靈活,對于大規(guī)模數(shù)據(jù)分析也相當(dāng)實用。(轉(zhuǎn)載自PHP中文網(wǎng)www.php.cn)
MapReduce 命令
以下是MapReduce的基本語法:
>db.collection.mapReduce(
function()?{emit(key,value);},??//map?函數(shù)
function(key,values)?{return?reduceFunction},???//reduce?函數(shù)
{
out:?collection,
query:?document,
sort:?document,
limit:?number
}
)
使用 MapReduce 要實現(xiàn)兩個函數(shù) Map 函數(shù)和 Reduce 函數(shù),Map 函數(shù)調(diào)用 emit(key, value), 遍歷 collection 中所有的記錄, 將key 與 value 傳遞給 Reduce 函數(shù)進行處理。
Map 函數(shù)必須調(diào)用 emit(key, value) 返回鍵值對。
參數(shù)說明:
map?:映射函數(shù) (生成鍵值對序列,作為 reduce 函數(shù)參數(shù))。
reduce?統(tǒng)計函數(shù),reduce函數(shù)的任務(wù)就是將key-values變成key-value,也就是把values數(shù)組變成一個單一的值value。。
out?統(tǒng)計結(jié)果存放集合 (不指定則使用臨時集合,在客戶端斷開后自動刪除)。
query?一個篩選條件,只有滿足條件的文檔才會調(diào)用map函數(shù)。(query。limit,sort可以隨意組合)
sort?和limit結(jié)合的sort排序參數(shù)(也是在發(fā)往map函數(shù)前給文檔排序),可以優(yōu)化分組機制
limit?發(fā)往map函數(shù)的文檔數(shù)量的上限(要是沒有l(wèi)imit,單獨使用sort的用處不大)
使用 MapReduce
考慮以下文檔結(jié)構(gòu)存儲用戶的文章,文檔存儲了用戶的 user_name 和文章的 status 字段:
基礎(chǔ)數(shù)據(jù)錄入
現(xiàn)在,我們將在 posts 集合中使用 mapReduce 函數(shù)來選取已發(fā)布的文章(status:"active"),并通過user_name分組,計算每個用戶的文章數(shù):
總結(jié)
以上是生活随笔為你收集整理的mapreduce分组统计_Mongodb的分组统计MapReduce的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 工银安盛怎么样?
- 下一篇: lisp调用qleader端点_标注时自