使用

300

行代碼創建一個分布式系統

構建一個分布式系統是很困難的。

它需要可擴展性、

容錯性、

高可用性、

一致性、

可伸縮以及高效。為了達到這些目的，分布式系統需要很多復雜的組件以一

種

復雜的方式協同工作。例如，

Apache

Hadoop

在大型集群上并行處理

TB

級別的

數據集時，需要依賴有著高容錯的文件系統(

HDFS

)來達到高吞

吐量。

在之前，每一個新的分布式系統，例如

Hadoop

和

Cassandra

，都需要構建自己

的底層架構，包括消息處理、存儲、網絡、容錯性和可伸縮性。

慶幸的是，像

Apache

Mesos

這樣的系統，

通過給分布式系統的關鍵構建模塊提供類似操作系

統的管理服務，

簡化了構建和管理分布式系統的任務。

Mesos

抽離了

CPU

、

存儲

和其它計算資源，

因此開發者開發分布式應用程序時能夠將整個數據中心集群當

做一臺巨型機對待。

構建在

Mesos

上的應用程序被稱為框架，

它們能解決很多問題：

Apache

Spark

，

一種流行的集群式數據分析工具；

Chronos

，一個類

似

cron

的具有容錯性的分

布式

scheduler

，這是兩個構建在

Mesos

上的框架的例子。構建框架可以使用多

種語言，包括

C++

，

Go

，

Python

，

Java

，

Haskell

和

Scala

。

在分布式系統用例上，比特幣開采就是一個很好的例子。比特幣將為生

成

acceptable

hash

的挑戰轉為驗證一塊事務的可靠性。

可能需要

幾十年，

單臺筆記本電腦挖一塊可能需要花費超過

150

年。結果是，有許多的“采礦池”

允許采礦者將他們的計算資源聯合起來以加快挖礦速度。

Mesosphere

的一個實

習生，

Derek

，

寫了一個

比特幣開采框架

，

利用集群資源的優勢來做同樣的事情。

在接下來的內容中，會以他的代碼為例。

1

個

Mesos

框架有

1

個

scheduler

和

1

個

executor

組成。

scheduler

和

Mesos

master

通信并決定運行什么任

務，而

executor

運行在

slaves

上面，

執行實際任務。大多數的框架實現了自己的

scheduler

，并使用

1

個由

Mesos

提

供的標準

executors

。當然，框架也可以自己定制

executor

總結

以上是生活随笔為你收集整理的三百行python代码的项目_使用300行代码创建一个分布式系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。