learn from 從0開(kāi)始學(xué)大數(shù)據(jù)（極客時(shí)間）

• 數(shù)據(jù)太大（PB級(jí)別），將程序發(fā)送到數(shù)據(jù)所在地方進(jìn)行計(jì)算，比移動(dòng)數(shù)據(jù)更劃算

如何實(shí)現(xiàn)的：

• 將大規(guī)模數(shù)據(jù)存儲(chǔ)在集群的所有服務(wù)器上，（HDFS系統(tǒng)，塊存儲(chǔ)）
• 大數(shù)據(jù)引擎根據(jù)服務(wù)器的計(jì)算能力，在每臺(tái)服務(wù)器啟動(dòng)若干分布式任務(wù)執(zhí)行進(jìn)程待命
• 大數(shù)據(jù)計(jì)算框架編程，打包編程模型，如 Java 的 JAR 包
• 用 Hadoop 或 Spark 執(zhí)行 JAR 包（解析數(shù)據(jù)輸入路徑、大小、數(shù)據(jù)切分、數(shù)據(jù)片分配給任務(wù)執(zhí)行進(jìn)程）
• 任務(wù)執(zhí)行進(jìn)程，檢查是否有對(duì)應(yīng)的程序包，沒(méi)有則下載，通過(guò)反射的方式加載程序
• 加載程序后，讀取數(shù)據(jù)，執(zhí)行程序

總結(jié)

以上是生活随笔為你收集整理的移动计算比移动数据更划算的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。