分布式系统概述(来自学习资料)
2 分布式系統(tǒng)概述
注:由于大數(shù)據(jù)技術(shù)領(lǐng)域的各類技術(shù)框架基本上都是分布式系統(tǒng),因此,理解hadoop、storm、spark等技術(shù)框架,都需要具備基本的分布式系統(tǒng)概念
?
2.1 分布式軟件系統(tǒng)(Distributed Software Systems)
2?該軟件系統(tǒng)會(huì)劃分成多個(gè)子系統(tǒng)或模塊,各自運(yùn)行在不同的機(jī)器上,子系統(tǒng)或模塊之間通過(guò)網(wǎng)絡(luò)通信進(jìn)行協(xié)作,實(shí)現(xiàn)最終的整體功能
2?比如分布式操作系統(tǒng)、分布式程序設(shè)計(jì)語(yǔ)言及其編譯(解釋)系統(tǒng)、分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)系統(tǒng)等。
?
2.2 分布式軟件系統(tǒng)舉例:solrcloud
A.???????一個(gè)solrcloud集群通常有多臺(tái)solr服務(wù)器
B.???????每一個(gè)solr服務(wù)器節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)整個(gè)索引庫(kù)的若干個(gè)shard(數(shù)據(jù)分片)
C.???????每一個(gè)shard又有多臺(tái)服務(wù)器存放若干個(gè)副本互為主備用
D.???????索引的建立和查詢會(huì)在整個(gè)集群的各個(gè)節(jié)點(diǎn)上并發(fā)執(zhí)行
E.????????solrcloud集群作為整體對(duì)外服務(wù),而其內(nèi)部細(xì)節(jié)可對(duì)客戶端透明
總結(jié):利用多個(gè)節(jié)點(diǎn)共同協(xié)作完成一項(xiàng)或多項(xiàng)具體業(yè)務(wù)功能的系統(tǒng)就是分布式系統(tǒng)。
?
2.3 分布式應(yīng)用系統(tǒng)模擬開發(fā)
需求:可以實(shí)現(xiàn)由主節(jié)點(diǎn)將運(yùn)算任務(wù)發(fā)往從節(jié)點(diǎn),并將各從節(jié)點(diǎn)上的任務(wù)啟動(dòng);
程序清單:
AppMaster
AppSlave/APPSlaveThread
Task
程序運(yùn)行邏輯流程:
?
?
總結(jié)
以上是生活随笔為你收集整理的分布式系统概述(来自学习资料)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 捷途x90变速箱油加几升?
- 下一篇: 日志采集框架Flume、Flume介绍、