《大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計實戰(zhàn)》

基本信息

作者： 彭淵???

叢書名： 大數(shù)據(jù)技術(shù)叢書

出版社：機械工業(yè)出版社

ISBN：9787111455035

上架時間：2014-2-21

出版日期：2014 年2月

開本：16開

頁碼：1

版次：1-1

所屬分類：計算機 > 操作系統(tǒng) > 操作系統(tǒng)理論 > 分布式操作系統(tǒng)

?

更多關(guān)于》》》《大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計實戰(zhàn)》

?

內(nèi)容簡介

??? 書籍

??? 計算機書籍

　　《大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計實戰(zhàn)》是作者從程序員到首席架構(gòu)師十多年職業(yè)生涯的實戰(zhàn)經(jīng)驗總結(jié)，系統(tǒng)講解構(gòu)建大規(guī)模分布式系統(tǒng)的核心技術(shù)與實現(xiàn)方法，包含作者開源的fourinone系統(tǒng)的設(shè)計與實現(xiàn)過程，手把手教你掌握分布式技術(shù)。通過學習這個系統(tǒng)的實現(xiàn)方法與相關(guān)的理論，讀者可快速掌握分布式系統(tǒng)的理論并設(shè)計自己的分布式系統(tǒng)。

　　《大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計實戰(zhàn)》從分布式計算的基本概念開始，解剖了眾多流行概念的本質(zhì)，深入講解分布式系統(tǒng)的基本原理與實現(xiàn)方式，包括master-slave結(jié)構(gòu)、消息中樞模式、網(wǎng)狀直接交互模式、并行結(jié)合串行模式等，以及fourinone系統(tǒng)的架構(gòu)、實現(xiàn)分布式功能的示例。接下來詳細介紹分布式協(xié)調(diào)、分布式緩存、消息隊列、分布式文件系統(tǒng)、分布式作業(yè)調(diào)度平臺的設(shè)計與實現(xiàn)方法，不僅包括詳細的架構(gòu)原理、算法，還給出了實現(xiàn)步驟、核心api、實現(xiàn)代碼。隨書附帶的光盤包括書中示例代碼以及fourinone系統(tǒng)源代碼。

?

?

目錄

《大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計實戰(zhàn)》

前　言

第1章 概述 1

1.1 分布式計算、并行計算、云計算概述 1

1.2 分布式產(chǎn)品hadoop、zookeeper、hbase概述 6

1.3 fourinone的產(chǎn)生背景 12

第2章 分布式并行計算的原理與實踐 14

2.1 分布式并行計算模式 14

2.1.1 最初想到的master-slave結(jié)構(gòu) 14

2.1.2 “包工頭-職介所-手工倉庫-工人”模式 15

2.1.3 基于消息中樞的計算模式 17

2.1.4 基于網(wǎng)狀直接交互的計算模式 18

2.1.5 并行結(jié)合串行模式 22

2.1.6 包工頭內(nèi)部批量多階段處理模式 23

2.1.7 計算集群模式和兼容遺留計算系統(tǒng) 24

2.1.8 工人計算的服務(wù)化模式 26

2.2 跟hadoop的區(qū)別 28

2.3 關(guān)于分布式的一些概念與產(chǎn)品 30

2.4 配置文件和核心api介紹 35

2.5 實踐與應(yīng)用 36

2.5.1 一個簡單的示例 36

2.5.2 工頭工人計算模式更完整的示例 39

2.5.3 工人合并互相say hello的示例 44

2.5.4 實現(xiàn)hadoop經(jīng)典實例word count 48

2.5.5 分布式多機部署的示例 52

2.5.6 分布式計算自動部署的示例 53

2.5.7 計算過程中的故障和容災(zāi)處理 57

2.5.8 計算過程中的相關(guān)時間屬性設(shè)置 60

2.5.9 如何在一臺計算機上一次性啟動多個進程 63

2.5.10 如何調(diào)用c/c++程序?qū)崿F(xiàn) 68

2.5.11 如何中止工人計算和超時中止 68

2.5.12 使用并行計算大幅提升遞歸算法效率 73

2.5.13 使用并行計算求圓周率π 81

2.5.14 從賭錢游戲看pagerank算法 86

2.5.15 使用并行計算實現(xiàn)上億排序 96

2.5.16 工人服務(wù)化模式應(yīng)用示例 104

2.6 實時流計算 107

第3章 分布式協(xié)調(diào)的實現(xiàn) 111

3.1 協(xié)調(diào)架構(gòu)原理簡介 111

3.2 核心api 113

3.3 權(quán)限機制 115

3.4 相對于zookeeper的區(qū)別 116

3.5 與paxos算法的區(qū)別 117

3.6 實踐與應(yīng)用 119

3.6.1 如何實現(xiàn)公共配置管理 119

3.6.2 如何實現(xiàn)分布式鎖 126

3.6.3 如何實現(xiàn)集群管理 129

3.6.4 多節(jié)點權(quán)限操作示例 134

3.6.5 領(lǐng)導者選舉相關(guān)屬性設(shè)置 137

第4章 分布式緩存的實現(xiàn) 139

4.1 小型網(wǎng)站或企業(yè)應(yīng)用的緩存實現(xiàn)架構(gòu) 139

4.2 大型分布式緩存系統(tǒng)實現(xiàn)過程 140

4.3 一致性哈希算法的原理、改進和實現(xiàn) 147

4.4 解決任意擴容的問題 152

4.5 解決擴容后數(shù)據(jù)均勻的問題 153

4.6 分布式session的架構(gòu)設(shè)計和實現(xiàn) 154

4.7 緩存容量的相關(guān)屬性設(shè)置 156

4.8 緩存清空的相關(guān)屬性設(shè)置 158

第5章 消息隊列的實現(xiàn) 162

5.1 閑話中間件與mq 162

5.2 jms的兩種經(jīng)典模式 163

5.3 如何實現(xiàn)發(fā)送接收的隊列模式 164

5.4 如何實現(xiàn)主題訂閱模式 168

第6章 分布式文件系統(tǒng)的實現(xiàn) 173

6.1 fttp架構(gòu)原理解析 174

6.2 搭建配置fttpadapter環(huán)境 177

6.3 訪問集群文件根目錄 179

6.4 訪問和操作遠程文件 181

6.5 集群內(nèi)文件復(fù)制和并行復(fù)制 184

6.6 讀寫遠程文件 187

6.7 解析遠程文件 189

6.8 并行讀寫遠程文件 191

6.9 批量并行讀寫遠程文件和事務(wù)補償處理 194

6.10 如何進行整型讀寫 198

6.11 基于整型讀寫的上億排序 205

第7章 分布式作業(yè)調(diào)度平臺的實現(xiàn) 219

7.1 調(diào)度平臺的設(shè)計與實現(xiàn) 219

7.2 資源隔離的實現(xiàn) 224

7.3 資源調(diào)度算法 226

7.4 其他作業(yè)調(diào)度平臺簡介 227

7.4.1 其他mpi作業(yè)資源調(diào)度技術(shù) 227

7.4.2 mesos和yarn簡介 229

?

本圖書信息來源：互動出版網(wǎng)

?

總結(jié)

以上是生活随笔為你收集整理的《大规模分布式系统架构与设计实战》的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。