當(dāng)前位置:
首頁(yè) >
移动计算比移动数据更划算
發(fā)布時(shí)間:2024/7/5
36
豆豆
生活随笔
收集整理的這篇文章主要介紹了
移动计算比移动数据更划算
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
learn from 從0開(kāi)始學(xué)大數(shù)據(jù)(極客時(shí)間)
- 數(shù)據(jù)太大(PB級(jí)別),將程序發(fā)送到數(shù)據(jù)所在地方進(jìn)行計(jì)算,比移動(dòng)數(shù)據(jù)更劃算
如何實(shí)現(xiàn)的:
- 將大規(guī)模數(shù)據(jù)存儲(chǔ)在集群的所有服務(wù)器上,(HDFS系統(tǒng),塊存儲(chǔ))
- 大數(shù)據(jù)引擎根據(jù)服務(wù)器的計(jì)算能力,在每臺(tái)服務(wù)器啟動(dòng)若干分布式任務(wù)執(zhí)行進(jìn)程待命
- 大數(shù)據(jù)計(jì)算框架編程,打包編程模型,如 Java 的 JAR 包
- 用 Hadoop 或 Spark 執(zhí)行 JAR 包(解析數(shù)據(jù)輸入路徑、大小、數(shù)據(jù)切分、數(shù)據(jù)片分配給任務(wù)執(zhí)行進(jìn)程)
- 任務(wù)執(zhí)行進(jìn)程,檢查是否有對(duì)應(yīng)的程序包,沒(méi)有則下載,通過(guò)反射的方式加載程序
- 加載程序后,讀取數(shù)據(jù),執(zhí)行程序
總結(jié)
以上是生活随笔為你收集整理的移动计算比移动数据更划算的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: LeetCode 1984. 学生分数的
- 下一篇: LeetCode 2131. 连接两字母