【讀書筆記】2017.01.06 星期五《大型網站架構技術》

時間 2020-09-19

標籤讀書筆記 2017.01.06 星期五大型網站架構技術欄目網站開發简体版

原文原文鏈接

本文地址html

分享提綱：前端

　　1. 概述git

　　2. 知識點github

1.概述

　　1）【書名及連接】web

　　《大型網站技術架構核心原理與案例分析》算法

　　2）【主要內容】數據庫

　　　　由李智慧著做的《大型網站技術架構(核心原理與案例分析)》經過梳理大型網站技術發展歷程，剖析大型網站技術架構模式，深刻講述大型互聯網架構設計的核心原理，並經過一組典型網站技術架構設計案例，爲讀者呈現一幅包括技術SHOU*選型、架構設計、性能優化、web安全、系統發佈、運維監控等在內的大型網站開發全景視圖。
　　　　大型網站技術架構(核心原理與案例分析)》不只適用於指導網站工程師、架構師進行網站技術架構設計，也可用於指導產品經理、項目經理、測試運維人員等了解網站技術架構的基礎概念；還可供包括企業系統開發人員在內的各種軟件開發從業人員借鑑，瞭解大型網站的解決方案和開發理念。編程

　　3）【目錄結構】　　後端

第YI篇 概述 
1 大型網站架構演化 
1.1 大型網站軟件系統的特色 
1.2 大型網站架構演化發展歷程 
1.2.1 初始階段的網站架構 
1.2.2 應用服務和數據服務分離 
1.2.3 使用緩存改善網站性能 
1.2.4 使用應用服務器集羣改善網站的併發處理能力 
1.2.5 數據庫讀寫分離 
1.2.6 使用反向代理和CDN加速網站響應 
1.2.7 使用分佈式文件系統和分佈式數據庫系統 
1.2.8 使用NoSQL和搜索引擎 
1.2.9 業務拆分 
1.2.10 分佈式服務 
1.3 大型網站架構演化的價值觀 
1.3.1 大型網站架構技術的核心價值是隨網站所需靈活應對 
1.3.2 驅動大型網站技術發展的主要力量是網站的業務發展 
1.4 網站架構設計誤區 
1.4.1 一味追隨大公司的解決方案 
1.4.2 爲了技術而技術 
1.4.3 企圖用技術解決全部問題 
1.5 小結 
2 大型網站架構模式 
2.1 網站架構模式 
2.1.1 分層 
2.1.2 分割 
2.1.3 分佈式 
2.1.4 集羣 
2.1.5 緩存 
2.1.6 異步 
2.1.7 冗餘 
2.1.8 自動化 
2.1.9 安全 
2.2 架構模式在新浪微博的應用 
2.3 小結 
3 大型網站核心架構要素 
3.1 性能 
3.2 可用性 
3.3 伸縮性 
3.4 擴展性 
3.5 安全性 
3.6 小結 
第2篇 架構 
4 瞬時響應：網站的高性能架構 
4.1 網站性能測試 
4.1.1 不一樣視角下的網站性能 
4.1.2 性能測試指標 
4.1.3 性能測試方法 
4.1.4 性能測試報告 
4.1.5 性能優化策略 
4.2 Web前端性能優化 
4.2.1 瀏覽器訪問優化 
4.2.2 CDN加速 
4.2.3 反向代理 
4.3 應用服務器性能優化 
4.3.1 分佈式緩存 
4.3.2 異步操做 
4.3.3 使用集羣 
4.3.4 代碼優化 
4.4 存儲性能優化 
4.4.1 機械硬盤vs. 固態硬盤 
4.4.2 B+樹vs. LSM樹 
4.4.3 RAID vs. HDFS 
4.5 小結 
5 萬無一失：網站的高可用架構 
5.1 網站可用性的度量與考覈 
5.1.1 網站可用性度量 
5.1.2 網站可用性考覈 
5.2 高可用的網站架構 
5.3 高可用的應用 
5.3.1 經過負載均衡進行無狀態服務的失效轉移 
5.3.2 應用服務器集羣的Session管理 
5.4 高可用的服務 
5.5 高可用的數據 
5.5.1 CAP原理 
5.5.2 數據備份 
5.5.3 失效轉移 
5.6 高可用網站的軟件質量保證 
5.6.1 網站發佈 
5.6.2 自動化測試 
5.6.3 預發佈驗證 
5.6.4 代碼控制 
5.6.5 自動化發佈 
5.6.6 灰度發佈 
5.7 網站運行監控 
5.7.1 監控數據採集 
5.7.2 監控管理 
5.8 小結 
6 永無止境：網站的伸縮性架構 
6.1 網站架構的伸縮性設計 
6.1.1 不一樣功能進行物理分離實現伸縮 
6.1.2 單一功能經過集羣規模實現伸縮 
6.2 應用服務器集羣的伸縮性設計 
6.2.1 HTTP重定向負載均衡 
6.2.2 DNS域名解析負載均衡 
6.2.3 反向代理負載均衡 
6.2.4 IP負載均衡 
6.2.5 數據鏈路層負載均衡 
6.2.6 負載均衡算法 
6.3 分佈式緩存集羣的伸縮性設計 
6.3.1 Memcached分佈式緩存集羣的訪問模型 
6.3.2 Memcached分佈式緩存集羣的伸縮性挑戰 
6.3.3 分佈式緩存的一致性Hash算法 
6.4 數據存儲服務器集羣的伸縮性設計 
6.4.1 關係數據庫集羣的伸縮性設計 
6.4.2 NoSQL數據庫的伸縮性設計 
6.5 小結 
7 隨需應變：網站的可擴展架構 
7.1 構建可擴展的網站架構 
7.2 利用分佈式消息隊列下降系統耦合性 
7.2.1 事件驅動架構 
7.2.2 分佈式消息隊列 
7.3 利用分佈式服務打造可複用的業務平臺 
7.3.1 Web Service與企業級分佈式服務 
7.3.2 大型網站分佈式服務的需求與特色 
7.3.3 分佈式服務框架設計 
7.4 可擴展的數據結構 
7.5 利用開放平臺建設網站生態圈 
7.6 小結 
8 固若金湯：網站的安全架構 
8.1 道高一尺魔高一丈的網站應用攻擊與防護 
8.1.1 XSS攻擊 
8.1.2 注入攻擊 
8.1.3 CSRF攻擊 
8.1.4 其餘攻擊和漏洞 
8.1.5 Web應用防火牆 
8.1.6 網站安全漏洞掃描 
8.2 信息加密技術及密鑰安全管理 
8.2.1 單向散列加密 
8.2.2 對稱加密 
8.2.3 非對稱加密 
8.2.4 密鑰安全管理 
8.3 信息過濾與反垃圾 
8.3.1 文本匹配 
8.3.2 分類算法 
8.3.3 黑名單 
8.4 電子商務風險控制 
8.4.1 風險 
8.4.2 風控 
8.5 小結 
第3篇 案例 
9 淘寶網的架構演化案例分析 
9.1 淘寶網的業務發展歷程 
9.2 淘寶網技術架構演化 
9.3 小結 
10 維基百科的高性能架構設計分析 
10.1 Wikipedia網站總體架構 
10.2 Wikipedia性能優化策略 
10.2.1 Wikipedia前端性能優化 
10.2.2 Wikipedia服務端性能優化 
10.2.3 Wikipedia後端性能優化 
11 海量分佈式存儲系統Doris的高可用架構設計分析 
11.1 分佈式存儲系統的高可用架構 
11.2 不一樣故障狀況下的高可用解決方案 
11.2.1 分佈式存儲系統的故障分類 
11.2.2 正常狀況下系統訪問結構 
11.2.3 瞬時故障的高可用解決方案 
11.2.4 臨時故障的高可用解決方案 
11.2.5 永JIU故障的高可用解決方案 
12 網購秒殺系統架構設計案例分析 
12.1 秒殺活動的技術挑戰 
12.2 秒殺系統的應對策略 
12.3 秒殺系統架構設計 
12.4 小結 
13 大型網站典型故障案例分析 
13.1 寫日誌也會引起故障 
13.2 高併發訪問數據庫引起的故障 
13.3 高併發狀況下鎖引起的故障 
13.4 緩存引起的故障 
13.5 應用啓動不一樣步引起的故障 
13.6 大文件讀寫獨佔磁盤引起的故障 
13.7 濫用生產環境引起的故障 
13.8 不規範的流程引起的故障 
13.9 很差的編程習慣引起的故障 
13.10 小結 
第4篇 架構師 
14 架構師領導藝術 
14.1 關注人而不是產品 
14.2 發掘人的YOU秀 
14.3 共享美好藍圖 
14.4 共同參與架構 
14.5 學會妥協 
14.6 成就他人 
15 網站架構師職場攻略 
15.1 發現問題，尋找突破 
15.2 提出問題，尋求支持 
15.3 解決問題，達成績效 
16 漫話網站架構師 
16.1 按做用劃分架構師 
16.2 按效果劃分架構師 
16.3 按職責角色劃分架構師 
16.4 按關注層次劃分架構師 
16.5 按口碑劃分架構師 
16.6 非主流方式劃分架構師 
附錄A 大型網站架構技術一覽 
附錄B Web開發技術發展歷程 
後記

目錄結構

2. 知識點

　　 1)【軟件視圖模型】

　　　　機械製圖的時候，一般使用三視圖描述一個機械零件，從正視、側視、俯視三個角度對一個零件繪圖，從而全面描述一個零件的結構。軟件架構設計中經常使用的4+1視圖模型，也是一種多角度描述軟件系統設計的手段

　　 2) 【垃圾回收】

　　　　JVM爲例，其內存主要可劃分爲堆（heap）和堆棧（stack）。堆棧用於存儲線程上下文信息，如方法參數、局部變量等。堆則是存儲對象的內存空間，對象的建立和釋放、垃圾回收就在這裏進行。經過對對象生命週期的觀察，發現大部分對象的生命週期都極其短暫，這部分對象產生的垃圾應該被更快地收集，以釋放內存，這就是JVM分代垃圾回收，其

　　3)【重複請求】

　　　　應用調用服務失敗後，會將調用請求從新發送到其餘服務器，可是這個失敗多是虛假的失敗。好比服務已經處理成功，但由於網絡故障應用沒有收到響應，這時應用從新提交請求就致使服務重複調用，若是這個服務是一個轉帳操做，就會產生嚴重後果

　　4)【數據庫鏈接池】

　　　　應用程序的數據庫鏈接基本都使用鏈接池（Connection Pool）的方式。數據庫鏈接對象建立好之後，將鏈接對象放入對象池容器中，應用程序要鏈接的時候，就從對象池中獲取一個空閒的鏈接使用，使用完畢再將該對象歸還到對象池中便可，不須要建立新的鏈接。

　　5) 【數據庫索引結構】

　　　　目前數據庫多采用兩級索引的B+樹，樹的層次最多三層。所以可能須要5次磁盤訪問才能更新一條記錄（三次磁盤訪問得到數據索引及行ID，而後再進行一次數據文件讀操做及一次數據文件寫操做）。

　　6) 【網站的不可用】

　　　　網站不可用也被稱做網站故障，業界一般用多少個9來衡量網站的可用性，如QQ的可用性是4個9，即QQ服務99.99%可用，這意味着QQ服務要保證其在全部運行時間中，只有0.01%的時間不可用，也就是一年中大約最多53分鐘不可用。

　　7) 【冪等性】

　　　　數學和計算機概念，任意屢次執行所產生的影響均與一次執行的影響相同

　　8) 【預發佈服務器】

　　　　預發佈服務器是一種特殊用途的服務器，它和線上的正式服務器惟一的不一樣就是沒有配置在負載均衡服務器上，外部用戶沒法訪問

　　9)【火車發佈模型】

　　　　因爲火車發佈模型是基於規則驅動的流程，因此這個流程能夠自動化。採用火車發佈模型的網站會開發一個自動化發佈的工具實現發佈過程的自動化。

　　10) 【網站伸縮性】

　　　　通常說來，網站的伸縮性設計可分紅兩類，一類是根據功能進行物理分離實現伸縮，一類是單一功能經過集羣實現伸縮。前者是不一樣的服務器部署不一樣的服務，提供不一樣的功能；後者是集羣內的多臺服務器部署相同的服務，提供相同的功能。

　　 11)【DNS負載均衡缺點】

　　　　可是DNS域名解析負載均衡也有缺點，就是目前的DNS是多級解析，每一級DNS均可能緩存A記錄，當下線某臺服務器後，即便修改了DNS的A記錄，要使其生效也須要較長時間，這段時間，DNS依然會將域名解析到已經下線的服務器，致使用戶訪問失敗；並且DNS負載均衡的控制權在域名服務商那裏，網站沒法對其作更多改善和更強大的管理。

　　12)【LVS】

　　　　使用三角傳輸模式的鏈路層負載均衡是目前大型網站使用最廣的一種負載均衡手段。在Linux平臺上最好的鏈路層負載均衡開源產品是LVS（Linux Virtual Server）。

　　13)【貧血模型充血模型】

　　　　引伸出曠日持久的業務對象貧血模型與充血模型之爭

　　14)【NoSql的放棄】

　　　　NoSQL數據庫產品都放棄了關係數據庫的兩大重要基礎：以關係代數爲基礎的結構化查詢語言（SQL）和事務一致性保證（ACID）。而強化其餘一些大型網站更關注的特性：高可用性和可伸縮性。

　　　　開源社區有各類NoSQL產品，其支持的數據結構和伸縮特性也各不相同，目前看來，應用最普遍的是Apache HBase。

　　 15)【高手定律。救世主定律】

　　　　高手定律：這個世界只有遇不到的問題，沒有解決不了的問題，高手之因此成爲高手，是由於他們遇到了常人很難遇到的問題，並解決了。

　　　　救世主定律：遇到問題，分析問題，最後總能解決問題

　　16)【ColumnFamily結構的NoSQL】

　　　　而使用支持ColumnFamily結構的NoSQL數據庫，建立表的時候，只須要指定ColumnFamily的名字，無需指定字段（Column），能夠在數據寫入時再指定，經過這種方式，數據表能夠包含數百萬的字段，使得應用程序的數據結構能夠隨意擴展。而在查詢時，能夠經過指定任意字段名稱和值進行查詢。

　　 17)【API接口】

　　　　API 接口：是開放平臺暴露給開發者使用的一組API，其形式能夠是RESTful、WebService、RPC等各類形式。

　　18)【信息加密技術】

　　　　信息加密技術可分爲三類：單項散列加密、對稱加密和非對稱加密。

　　 19)【風控】

　　　　大型電商網站都配備有專門的風控團隊進行風險控制，風控的手段也包括自動和人工兩種。機器自動識別爲高風險的交易和信息會發送給風控審覈人員進行人工審覈，機器自動風控的技術和方法也不斷經過人工發現的新風險類型進行逐步完善。瀏覽器

　　　　機器自動風控的技術手段主要有規則引擎和統計模型。

　　20)【CGI技術】

　　　　通常來講CGI技術（廣義上也包括Java Servlet）被稱做腳本模式，CGI程序須要解析HTTP請求，處理業務邏輯，並在輸出流中構造響應信息的HTML。這種技術的優勢和缺點是同一個特性——能夠在CGI程序中作任何事情。