大型網站技術架構 核心原理與案例分析 2016-4-17

第1篇 概述

1 大型網站架構演化 2

1.1 大型網站軟件系統的特色 3

1.2 大型網站架構演化發展歷程 4

1.2.1 初始階段的網站架構 4

1.2.2 應用服務和數據服務分離 4

1.2.3 使用緩存改善網站性能 5

1.2.4 使用應用服務器集羣改善網站的併發處理能力 6

1.2.5 數據庫讀寫分離 7

1.2.6 使用反向代理和CDN加速網站響應 8

1.2.7 使用分佈式文件系統和分佈式數據庫系統 9

1.2.8 使用NoSQL和搜索引擎 10

1.2.9 業務拆分 11

1.2.10 分佈式服務 11

1.3 大型網站架構演化的價值觀 13

1.3.1 大型網站架構技術的核心價值是隨網站所需靈活應對 13

1.3.2 驅動大型網站技術發展的主要力量是網站的業務發展 13

1.4 網站架構設計誤區 14

1.4.1 一味追隨大公司的解決方案 14

1.4.2 爲了技術而技術 14

1.4.3 企圖用技術解決全部問題 14

1.5 小結 15

2 大型網站架構模式 16

2.1 網站架構模式 16

2.1.1 分層 17

2.1.2 分割 18

2.1.3 分佈式 18

2.1.4 集羣 19

2.1.5 緩存 20

2.1.6 異步 20

2.1.7 冗餘 21

2.1.8 自動化 22

2.1.9 安全 23

2.2 架構模式在新浪微博的應用 23

2.3 小結 25

3 大型網站核心架構要素 26

3.1 性能 27

3.2 可用性 28

3.3 伸縮性 29

3.4 擴展性 30

3.5 安全性 30

3.6 小結 31

第2篇 架構

4 瞬時響應：網站的高性能架構 34

4.1 網站性能測試 35

4.1.1 不一樣視角下的網站性能 35

4.1.2 性能測試指標 36

4.1.3 性能測試方法 39

4.1.4 性能測試報告 41

4.1.5 性能優化策略 41

4.2 Web前端性能優化 42

4.2.1 瀏覽器訪問優化 42

4.2.2 CDN加速 43

4.2.3 反向代理 44

4.3 應用服務器性能優化 45

4.3.1 分佈式緩存 45

4.3.2 異步操做 52

4.3.3 使用集羣 53

4.3.4 代碼優化 54

4.4 存儲性能優化 58

4.4.1 機械硬盤vs. 固態硬盤 58

4.4.2 B+樹vs. LSM樹 59

4.4.3 RAID vs. HDFS 61

4.5 小結 64

5 萬無一失：網站的高可用架構 66

5.1 網站可用性的度量與考覈 67

5.1.1 網站可用性度量 67

5.1.2 網站可用性考覈 67

5.2 高可用的網站架構 69

5.3 高可用的應用 71

5.3.1 經過負載均衡進行無狀態服務的失效轉移 72

5.3.2 應用服務器集羣的Session管理 73

5.4 高可用的服務 76

5.5 高可用的數據 78

5.5.1 CAP原理 79

5.5.2 數據備份 82

5.5.3 失效轉移 84

5.6 高可用網站的軟件質量保證 85

5.6.1 網站發佈 85

5.6.2 自動化測試 86

5.6.3 預發佈驗證 87

5.6.4 代碼控制 88

5.6.5 自動化發佈 90

5.6.6 灰度發佈 91

5.7 網站運行監控 91

5.7.1 監控數據採集 92

5.7.2 監控管理 93

5.8 小結 94

6 永無止境：網站的伸縮性架構 95

6.1 網站架構的伸縮性設計 97

6.1.1 不一樣功能進行物理分離實現伸縮 97

6.1.2 單一功能經過集羣規模實現伸縮 98

6.2 應用服務器集羣的伸縮性設計 99

6.2.1 HTTP重定向負載均衡 100

6.2.2 DNS域名解析負載均衡 101

6.2.3 反向代理負載均衡 102

6.2.4 IP負載均衡 103

6.2.5 數據鏈路層負載均衡 104

6.2.6 負載均衡算法 105

6.3 分佈式緩存集羣的伸縮性設計 106

6.3.1 Memcached分佈式緩存集羣的訪問模型 107

6.3.2 Memcached分佈式緩存集羣的伸縮性挑戰 107

6.3.3 分佈式緩存的一致性Hash算法 109

6.4 數據存儲服務器集羣的伸縮性設計 112

6.4.1 關係數據庫集羣的伸縮性設計 113

6.4.2 NoSQL數據庫的伸縮性設計 117

6.5 小結 119

7 隨需應變：網站的可擴展架構 121

7.1 構建可擴展的網站架構 122

7.2 利用分佈式消息隊列下降系統耦合性 123

7.2.1 事件驅動架構 123

7.2.2 分佈式消息隊列 124

7.3 利用分佈式服務打造可複用的業務平臺 126

7.3.1 Web Service與企業級分佈式服務 128

7.3.2 大型網站分佈式服務的需求與特色 129

7.3.3 分佈式服務框架設計 130

7.4 可擴展的數據結構 131

7.5 利用開放平臺建設網站生態圈 132

7.6 小結 134

8 固若金湯：網站的安全架構 135

8.1 道高一尺魔高一丈的網站應用攻擊與防護 136

8.1.1 XSS攻擊 136

8.1.2 注入攻擊 138

8.1.3 CSRF攻擊 139

8.1.4 其餘攻擊和漏洞 140

8.1.5 Web應用防火牆 141

8.1.6 網站安全漏洞掃描 142

8.2 信息加密技術及密鑰安全管理 142

8.2.1 單向散列加密 143

8.2.2 對稱加密 144

8.2.3 非對稱加密 144

8.2.4 密鑰安全管理 145

8.3 信息過濾與反垃圾 146

8.3.1 文本匹配 147

8.3.2 分類算法 148

8.3.3 黑名單 149

8.4 電子商務風險控制 150

8.4.1 風險 151

8.4.2 風控 151

8.5 小結 153

第3篇 案例

9 淘寶網的架構演化案例分析 156

9.1 淘寶網的業務發展歷程 157

9.2 淘寶網技術架構演化 158

9.3 小結 162

10 維基百科的高性能架構設計分析 163

10.1 Wikipedia網站總體架構 163

10.2 Wikipedia性能優化策略 165

10.2.1 Wikipedia前端性能優化 165

10.2.2 Wikipedia服務端性能優化 166

10.2.3 Wikipedia後端性能優化 167

11 海量分佈式存儲系統Doris的高可用架構設計分析 169

11.1 分佈式存儲系統的高可用架構 170

11.2 不一樣故障狀況下的高可用解決方案 171

11.2.1 分佈式存儲系統的故障分類 172

11.2.2 正常狀況下系統訪問結構 172

11.2.3 瞬時故障的高可用解決方案 173

11.2.4 臨時故障的高可用解決方案 174

11.2.5 永久故障的高可用解決方案 175

12 網購秒殺系統架構設計案例分析 176

12.1 秒殺活動的技術挑戰 177

12.2 秒殺系統的應對策略 177

12.3 秒殺系統架構設計 178

12.4 小結 182

13 大型網站典型故障案例分析 183

13.1 寫日誌也會引起故障 184

13.2 高併發訪問數據庫引起的故障 184

13.3 高併發狀況下鎖引起的故障 185

13.4 緩存引起的故障 185

13.5 應用啓動不一樣步引起的故障 186

13.6 大文件讀寫獨佔磁盤引起的故障 186

13.7 濫用生產環境引起的故障 187

13.8 不規範的流程引起的故障 187

13.9 很差的編程習慣引起的故障 188

13.10 小結 188

第4篇 架構師

14 架構師領導藝術 190

14.1 關注人而不是產品 191

14.2 發掘人的優秀 191

14.3 共享美好藍圖 192

14.4 共同參與架構 193

14.5 學會妥協 194

14.6 成就他人 194

15 網站架構師職場攻略 196

15.1 發現問題，尋找突破 197

15.2 提出問題，尋求支持 199

15.3 解決問題，達成績效 201

16 漫話網站架構師 203

16.1 按做用劃分架構師 203

16.2 按效果劃分架構師 204

16.3 按職責角色劃分架構師 205

16.4 按關注層次劃分架構師 205

16.5 按口碑劃分架構師 206

16.6 非主流方式劃分架構師 207

附錄A 大型網站架構技術一覽 208

附錄B Web開發技術發展歷程 215

後記 218