《大規模分佈式系統架構與設計實戰》

《大規模分佈式系統架構與設計實戰》

基本信息

做者： 彭淵   

叢書名： 大數據技術叢書

出版社：機械工業出版社

ISBN：9787111455035

上架時間：2014-2-21

出版日期：2014 年2月

開本：16開

頁碼：1

版次：1-1

所屬分類：計算機 > 操做系統 > 操做系統理論 > 分佈式操做系統

 

更多關於》》》《大規模分佈式系統架構與設計實戰》

 

內容簡介

    書籍

    計算機書籍

　　《大規模分佈式系統架構與設計實戰》是做者從程序員到首席架構師十多年職業生涯的實戰經驗總結，系統講解構建大規模分佈式系統的核心技術與實現方法，包含做者開源的fourinone系統的設計與實現過程，手把手教你掌握分佈式技術。經過學習這個系統的實現方法與相關的理論，讀者可快速掌握分佈式系統的理論並設計本身的分佈式系統。

　　《大規模分佈式系統架構與設計實戰》從分佈式計算的基本概念開始，解剖了衆多流行概念的本質，深刻講解分佈式系統的基本原理與實現方式，包括master-slave結構、消息中樞模式、網狀直接交互模式、並行結合串行模式等，以及fourinone系統的架構、實現分佈式功能的示例。接下來詳細介紹分佈式協調、分佈式緩存、消息隊列、分佈式文件系統、分佈式做業調度平臺的設計與實現方法，不只包括詳細的架構原理、算法，還給出了實現步驟、核心api、實現代碼。隨書附帶的光盤包括書中示例代碼以及fourinone系統源代碼。

 

 

目錄

《大規模分佈式系統架構與設計實戰》

前　言

第1章 概述 1

1.1 分佈式計算、並行計算、雲計算概述 1

1.2 分佈式產品hadoop、zookeeper、hbase概述 6

1.3 fourinone的產生背景 12

第2章 分佈式並行計算的原理與實踐 14

2.1 分佈式並行計算模式 14

2.1.1 最初想到的master-slave結構 14

2.1.2 「包工頭-職介所-手工倉庫-工人」模式 15

2.1.3 基於消息中樞的計算模式 17

2.1.4 基於網狀直接交互的計算模式 18

2.1.5 並行結合串行模式 22

2.1.6 包工頭內部批量多階段處理模式 23

2.1.7 計算集羣模式和兼容遺留計算系統 24

2.1.8 工人計算的服務化模式 26

2.2 跟hadoop的區別 28

2.3 關於分佈式的一些概念與產品 30

2.4 配置文件和核心api介紹 35

2.5 實踐與應用 36

2.5.1 一個簡單的示例 36

2.5.2 工頭工人計算模式更完整的示例 39

2.5.3 工人合併互相say hello的示例 44

2.5.4 實現hadoop經典實例word count 48

2.5.5 分佈式多機部署的示例 52

2.5.6 分佈式計算自動部署的示例 53

2.5.7 計算過程當中的故障和容災處理 57

2.5.8 計算過程當中的相關時間屬性設置 60

2.5.9 如何在一臺計算機上一次性啓動多個進程 63

2.5.10 如何調用c/c++程序實現 68

2.5.11 如何停止工人計算和超時停止 68

2.5.12 使用並行計算大幅提高遞歸算法效率 73

2.5.13 使用並行計算求圓周率π 81

2.5.14 從賭錢遊戲看pagerank算法 86

2.5.15 使用並行計算實現上億排序 96

2.5.16 工人服務化模式應用示例 104

2.6 實時流計算 107

第3章 分佈式協調的實現 111

3.1 協調架構原理簡介 111

3.2 核心api 113

3.3 權限機制 115

3.4 相對於zookeeper的區別 116

3.5 與paxos算法的區別 117

3.6 實踐與應用 119

3.6.1 如何實現公共配置管理 119

3.6.2 如何實現分佈式鎖 126

3.6.3 如何實現集羣管理 129

3.6.4 多節點權限操做示例 134

3.6.5 領導者選舉相關屬性設置 137

第4章 分佈式緩存的實現 139

4.1 小型網站或企業應用的緩存實現架構 139

4.2 大型分佈式緩存系統實現過程 140

4.3 一致性哈希算法的原理、改進和實現 147

4.4 解決任意擴容的問題 152

4.5 解決擴容後數據均勻的問題 153

4.6 分佈式session的架構設計和實現 154

4.7 緩存容量的相關屬性設置 156

4.8 緩存清空的相關屬性設置 158

第5章 消息隊列的實現 162

5.1 閒話中間件與mq 162

5.2 jms的兩種經典模式 163

5.3 如何實現發送接收的隊列模式 164

5.4 如何實現主題訂閱模式 168

第6章 分佈式文件系統的實現 173

6.1 fttp架構原理解析 174

6.2 搭建配置fttpadapter環境 177

6.3 訪問集羣文件根目錄 179

6.4 訪問和操做遠程文件 181

6.5 集羣內文件複製和並行複製 184

6.6 讀寫遠程文件 187

6.7 解析遠程文件 189

6.8 並行讀寫遠程文件 191

6.9 批量並行讀寫遠程文件和事務補償處理 194

6.10 如何進行整型讀寫 198

6.11 基於整型讀寫的上億排序 205

第7章 分佈式做業調度平臺的實現 219

7.1 調度平臺的設計與實現 219

7.2 資源隔離的實現 224

7.3 資源調度算法 226

7.4 其餘做業調度平臺簡介 227

7.4.1 其餘mpi做業資源調度技術 227

7.4.2 mesos和yarn簡介 229

 

本圖書信息來源：互動出版網