《從零開始學架構》筆記——第四部分：架構實戰

時間 2019-11-10

標籤從零開始學架構筆記第四部分架構實戰欄目系統架構简体版

原文原文鏈接

第十五章互聯網架構演進

互聯網的浪潮下，各類技術層出不窮，是跟上時代的步伐，仍是固守堅固的城池....docker

技術選型的問題決定軟件項目的大方向，新舊技術之爭是永恆的焦點。數據庫

「不識廬山真面目，只緣身在此山中」，跳出技術的範疇，用業務發展的角度去審視技術，答案就會很是清晰。緩存

1000之內的加減乘除用計算器就足夠了，沒必要使用曙光超級計算機。安全

技術的權衡本質是在業務和成本之間尋求一個平衡點。服務器

淘寶

我的網站，2003年4月，淘寶祕密起始於湖畔花園，購買了一個LAMP（Linux+Apache+MySQL+PHP）架構的網站。
2003年末，MySQL換成Oracle，同時使用一個開源的鏈接池代理服務SQL Relay。Oracle容量大、穩定、安全、性能高，Oracle的性能和併發訪問能力之因此如此強大，有一個關鍵性設計——鏈接池，鏈接池中放的是長鏈接，任何一個請求只須要從鏈接池中取得一個連接便可，用完後釋放，不須要頻繁的建立和斷開鏈接。網絡
2004年，爲解決SQL Relay死鎖問題，開發語言從PHP換成Jave。緣由是當時（04年）Jave是最成熟的網站開發語言，有比較良好的企業開發框架，被世界上主流的大規模網站廣泛採用。另外市場上Jave開發人才比較多，後期維護成本較低。數據結構
2004-2005（大概是這個時間段），引入IBM小型機、使用EMC存儲。架構
2005年工做：
一、Oracle數據庫分庫，商品信息和用戶信息分庫存放，由數據庫路由的框架DBRoute統一處理數據的合併、排序、分頁等操做；
二、控制層用Spring框架替換EJB；
三、研發基於Berkeley DB的緩存系統，把不少不太變更的只讀信息放了進去；
四、加入CDN內容分發網絡。
目的：圍繞提升容量、提升性能和節約成本。併發
2007年，參照GFS（Google File System），研發了淘寶圖片存儲系統TFS（TaoBao File System）。
特色：文件比較小；併發量高；讀操做遠大於寫操做；訪問隨機；沒有文件修改的操做；存儲成本低；能容災、能備份。
TFS已開源：code.taobao.org負載均衡
2007年，開發分佈式緩存系統Tair（TaoBao Pair），由一箇中心控制節點和一系列的服務節點組成。
Tair已開源：code.taobao.org
2008年後：
打散樹狀節點，把品牌、款式、材質等作成相似於標籤的概念（屬性），創建離散、靈活的數據結構。
拆分底層業務，例如建訂單、減庫存、修改訂單狀態等原子級操做，由原子級操做組成模塊，大量模塊能夠複用，每一個系統能夠單獨部署。

開發了高性能服務框架HSF，解決分佈式狀況下的服務調用問題。

推出消息中間件Notify：把要發出的通知存放在數據庫中，若是實時發送失敗，再用一個時間程序來週期性地發送這些通知，系統記錄下消息的中間狀態和時間戳，保證消息必定能發出，也必定能通知到，且通知帶有時間順序，通知甚至能夠實現事務性的操做。

數據庫分庫數量增多後，研發出數據查詢的中間件TDDL（分佈式數據訪問層）
三個主要特性：
一、將針對數據的讀寫請求發送到最合適的地方；
二、數據的多向非對稱複製——一次寫入，多點讀取；

互聯網業務發展

業務複雜性
- 初創期（創新，快）0-1w
- 發展期（堆功能，優化期）1w-10w
- 架構期（拆功能，拆數據庫，拆服務器）10w到100w
- 競爭期（平臺化，避免重複造輪子；服務化，解決系統交互問題）1000w+
- 成熟期（優化）1億+
用戶規模增大
- 性能
- 可用性

第十六章互聯網架構模板

存儲層技術

SQL

當業務發展到必定程度時，獨立成中間件，例如百度的DBProxy，淘寶的TDDL。（適合大規模公司）

中小公司適合使用開源方案：MySQL Router，Atlas
NoSQL

性能強，存儲結構豐富。
小文件存儲

海量存儲，海量訪問。（圖片）

HBase，Hadoop，Hypertable，FastDFS。
大文件存儲

視頻。Hadoop，HBase,Storm,Hive