learn from 從0開始學(xué)大數(shù)據(jù)（極客時間）

• 數(shù)據(jù)太大（PB級別），將程序發(fā)送到數(shù)據(jù)所在地方進行計算，比移動數(shù)據(jù)更劃算

如何實現(xiàn)的：

• 將大規(guī)模數(shù)據(jù)存儲在集群的所有服務(wù)器上，（HDFS系統(tǒng)，塊存儲）
• 大數(shù)據(jù)引擎根據(jù)服務(wù)器的計算能力，在每臺服務(wù)器啟動若干分布式任務(wù)執(zhí)行進程待命
• 大數(shù)據(jù)計算框架編程，打包編程模型，如 Java 的 JAR 包
• 用 Hadoop 或 Spark 執(zhí)行 JAR 包（解析數(shù)據(jù)輸入路徑、大小、數(shù)據(jù)切分、數(shù)據(jù)片分配給任務(wù)執(zhí)行進程）
• 任務(wù)執(zhí)行進程，檢查是否有對應(yīng)的程序包，沒有則下載，通過反射的方式加載程序
• 加載程序后，讀取數(shù)據(jù)，執(zhí)行程序

總結(jié)

以上是生活随笔為你收集整理的移动计算比移动数据更划算的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。