網站架構資料集（轉）

add by zhj：不少文章是轉自www.itivy.com，很惋惜，這個網站已經沒法訪問，不過，你能夠用Google搜索一下這些文章，另外

各大網站架構總結筆記 也能看到部分轉載的原文。

原文：http://www.diguage.com/archives/41.html

扯扯蛋

之前見過零零散散地介紹一些知名網站架構的分析文章。最近D瓜哥也想研究一下各大知名網站的架構。因此，就蒐集了一下這方面資料。限於時間問題，這篇文章分享的文章並無都看完，因此不保證全部文章的質量。另外，若是有朋友發現更好的文章，歡迎留言告知。再補充進來。

知名網站架構分析

1. 探索Google App Engine背後的奧祕(1)–Google的核心技術
2. 探索Google App Engine背後的奧祕(2)–Google的總體架構猜測
3. 探索Google App Engine背後的奧祕(3)- Google App Engine的簡介
4. 探索Google App Engine背後的奧祕(4)- Google App Engine的架構
5. 探索Google App Engine背後的奧祕(5)- Datastore的設計
6. 探索Google App Engine背後的奧祕(6)- 總結
7. Amazon網站架構學習總結
8. Amazon網站架構學習總結
9. Amazon 的 Dynamo 架構
10. eBay 的應用服務器規模
11. eBay 的數據量
12. 來自淘寶的架構經驗
13. Yahoo！社區架構
14. 基於Facebook和Flash平臺的應用架構解析（一）
15. 基於Facebook和Flash平臺的應用架構解析（二）
16. 基於Facebook和Flash平臺的應用架構解析（三）
17. Facebook圖片存儲架構的學習
18. facebook圖片存儲架構技術全解析
19. Facebook數據倉庫揭祕：RCFile高效存儲結構
20. Facebook 架構學習
21. Facebook 架構學習
22. 人人網移動開發架構
23. QQ空間技術架構之深入揭密
24. Twitter 的架構擴展: 100 倍性能提高
25. Twitter網站架構學習筆記
26. 國內外大型SNS網站後臺架構對比
27. 優酷網架構學習筆記
28. 優酷網(Youku.com)架構經驗
29. YouTube架構學習體會
30. YouTube 的架構擴展
31. Digg網站架構
32. Digg 網站架構
33. WikiPedia技術架構學習筆記
34. Yupoo網站架構學習總結
35. Flickr 網站架構分析
36. 學習 Flickr 的 基於 LAMP 的容量規劃經驗
37. MySpace 系統架構
38. 回顧MySpace架構的坎坷之路
39. 挑戰空中加油——1號店B2C電商系統演進之路
40. PlentyOfFish.com .NET網站的又一傳奇
41. 學習豆瓣好榜樣–網站架構
42. 37Signals 架構
43. Tailrank 網站架構
44. SmugMug 的架構介紹
45. 高併發PHP網站Poppen.de架構學習
46. Drupal與大型網站架構
47. 手機之家網站架構–對話高春輝
48. 手機之家的網站架構設計和演化
49. 學習 HeroKu 的架構設計
50. 各大網站架構總結筆記
51. 花瓣網的架構介紹
52. 大型網站架構技術專家談

架構分析與設計

1. 架構之美–開放環境下的網絡架構
2. 案例分析：基於消息的分佈式架構
3. 基於模式的架構評審
4. 爲不規則應用設計新一代超大型多線程架構
5. 從簡單到複雜：大型Rails與VoIP系統架構與部署實踐
6. 專家視角看IT與架構
7. 架構腐化之謎
8. 我眼中的雲端架構
9. 從100PV到1億級PV網站架構演變
10. 網站架構設計方案
11. 淺談大型網站動態應用系統架構——鑑於某度有胡亂改系統，並且不自動保留原來數據的惡習，建議你們手動備份下來。
12. 作大的藝術 – 大型網站的架構設計
13. 平臺網站架構設計之我所見
14. 屌絲程序員如何打造日PV百萬的網站架構
15. 設計 REST 風格的 MVC 框架
16. 集羣架構實踐 – 初試Memcached
17. BigPipe，加速你的頁面加載
18. 一步步構建大型網站架構
19. 圖片存儲架構學習：緩存，架構師的美麗小三
20. 要快速伸縮？從新架構吧！
21. 大型Rails與VoIP系統架構與部署實踐
22. LAMP網站架構方案分析
23. 大型網站架構演變和知識體系
24. 網站架構相關PPT、文章整理
25. 說說大型高併發高負載網站的系統架構
26. 軟件架構設計思考之一
27. 視頻流服務架構解析
28. Rails架構簡介
29. 自建CDN防護DDoS（1）：知己知彼，建設持久防線
30. 自建CDN防護DDoS（2）：架構設計、成本與部署細節
31. 自建CDN防護DDoS（3）：架構的後續改進
32. 系統技術非業餘研究-資料下載
33. 中小型應用系統知識體系
34. 中小型應用系統架構體系
35. 《架構師》月刊——InfoQ推出來的電子雜誌。貌似還不錯。
36. 系統設計說明書(架構、概要、詳細)目錄結構——D瓜哥不太擅長寫文檔，因此插播個文檔模板。

架構背後的技術

1. CDN（內容分發網絡）技術原理
2. 高性能網站的十四條黃金法則
3. 大型網站後臺架構的web server與緩存
4. Facebook性能大提高的祕密：HipHop
5. 淺談Squid在圖片存儲架構中的應用
6. 揭祕淘寶自主研發的文件系統——TFS
7. 百萬級訪問量網站的技術準備工做
8. 談談大型網站的負載均衡器、db proxy和db
9. 深刻淺出node.js遊戲服務器開發——Pomelo框架的設計動機與架構介紹
10. 架構師不可不知的十大可擴展架構
11. Memcached FAQ(1) 通常性的問題
12. Memcached FAQ(2) 集羣架構方面的問題
13. Memcached FAQ(3) 性能和客戶端庫方面的問題
14. Memcached FAQ(4) 選項、Item過時和命名空間方面的問題
15. 分享一些資料（側重Linux）
16. 用JavaScript闡述MapReduce原理
17. 分享一些D瓜哥攢的比較好的Web開發資料

數據庫架構

1. 大型高併發高負載web應用系統架構-數據庫架構策略
2. 又拍網架構中的分庫設計
3. Datomic的架構
4. 低成本和高性能MySQL雲數據的架構探索

插件架構

1. 關於Plugin Framework的關鍵因素
2. Plugin Architecture簡述
3. Eclipse(3.1) Plugin Framework(基於OSGI的Plugin Architecture)
4. OSGI與Plugin Architecture
5. 思考插件架構體系
6. 基於Equinox開發系統的總結
7. Declarative Services――Service-Oriented Component Model
8. Service-Oriented Component Model(SOCM)
9. 插件開發框架的思考
10. 基於Eclipse Equinox的插件框架：TPF

問題

1. WordPress的插件架構是怎麼樣的？

權限架構

1. 漫談權限系統 I
2. 漫談權限系統系列之概述、目的和需求
3. 漫談權限系統之技術策略以及基於RBAC的實現
4. 漫談權限系統之基於ACL的實現
5. 漫談權限系統之結尾篇(開源產品、我的觀點、知識體系)

 

轉自：http://www.diguage.com/archives/41.html

網絡架構師：各大型網站架構分析收集 及大型高負載網站架構的感

想

1. PlentyOfFish 網站架構學習
http://www.dbanotes.net/arch/plentyoffish_arch.html
採起
Windows 技術路線的 Web 2.0 站點並很少，除了 MySpace ，另外就是這個 PlentyOfFish。這個站點提供 「Online
Dating」 服務。一個使人津津樂道的、驚人的數據是這個只有一我的(建立人Markus Frind）的站點價值 10 億，估計要讓不少人眼熱，更況且
Markus Frind 天天只用兩個小時打理網站–可操做性很強嘛。
2. 從LiveJournal後臺發展看
大型網站系統架構以及性能優化方法
http://www.example.net.cn/archives/2006/03/olivejournaloio.html
LiveJournal是99年始於校園中的項目，幾我的出於愛好作了這樣一個應用，以實現如下功能：
*
博客，論壇
* 社會性網絡，找到朋友
*
聚合，把朋友的文章聚合在一塊兒
LiveJournal採用了大量的開源軟件，甚至它自己也是一個開源軟件。
在上線後，LiveJournal實現了很是快速的增加：
*
2004年4月份：280萬註冊用戶。
* 2005年4月份：680萬註冊用戶。
* 2005年8月份：790萬註冊用戶。
*
達到了每秒鐘上千次的頁面請求及處理。
* 使用了大量MySQL服務器。
* 使用了大量通用組件。
3. YouTube
的架構擴展
http://www.dbanotes.net/opensource/youtube_web_arch.html
在西雅圖擴展性的技術研討會上，YouTube
的 Cuong Do 作了關於 YouTube Scalability 的報告。視頻內容在 Google Video
上有(地址)，惋惜國內用戶看不到。
Kyle Cordes 對這個視頻中的內容作了介紹。裏面有很多技術性的內容。值得分享一下。(Kyle Cordes
的介紹是本文的主要來源)
4. WikiPedia 技術架構學習分享
http://www.dbanotes.net/opensource/wikipedia_arch.html
維基百科(WikiPedia.org)位列世界十大網站，目前排名第八位。這是開放的力量。
來點直接的數據：
*
峯值每秒鐘3萬個 HTTP 請求
* 每秒鐘 3Gbit 流量, 近乎375MB
* 350 臺 PC 服務器
5. Tailrank
網站架構
http://www.dbanotes.net/review/tailrank_arch.html
天天數以千萬計的
Blog 內容中，實時的熱點是什麼? Tailrank 這個 Web 2.0 Startup 致力於回答這個問題。
專門爆料網站架構的 Todd
Hoff 對 Kevin Burton 進行了採訪。因而咱們能瞭解一下 Tailrank 架構的一些信息。每小時索引 2400 萬的 Blog 與
Feed，內容處理能力爲 160-200Mbps，IO 寫入大約在10-15MBps。每月要處理 52T 之多的原始數據。Tailrank
所用的爬蟲如今已經成爲一個獨立產品：spinn3r。
6. LinkedIn 架構筆記
http://www.dbanotes.net/arch/linkedin.html
LinkedIn 僱員有
180 個，在 Web 2.0 公司中算是比較多的，不過人家自從 2006 年就盈利了，這在 Web 2.0 站點中可算少的。用戶超過 1600
萬，如今每個月新增 100 萬，50％ 會員來自海外(中國用戶很多，也包括我).
7. Yahoo！社區架構
http://www.dbanotes.net/arch/yahoo_arch.html
舊金山舉行的
QCon 會議帶給咱們不少新鮮的信息。雖然沒機會參加，可是看看各個網站」曬架構」也是個比較過癮的事情。請參觀並收藏這個頁面：Architectures
you’ve always wondered about。
8. Craigslist 的數據庫架構
http://www.dbanotes.net/database/craigslist_database_arch.html
Craigslist
絕對是互聯網的一個傳奇公司。根據之前的一則報道：
每個月超過 1000 萬人使用該站服務，月瀏覽量超過 30
億次，(Craigslist每個月新增的帖子近 10 億條??)網站的網頁數量在以每一年近百倍的速度增加。Craigslist 至今卻只有 18
名員工(如今可能會多一些了)。
9. Fotolog.com 的技術信息拾零
http://www.dbanotes.net/review/fotolog_arch.html
儘管是世界上最大的圖片服務網站,
Fotolog.com 在國內的名氣並非很響亮, 每當提到圖片服務, 不少人第一個會想起 Flickr. 但實際上 Fotolog 也的確是很猛的,
Alexa 上的排名一直在 Flickr 前面, 目前註冊用戶超過 1100 萬. 而前不久也賣了一個好價錢, 9000 萬美金. 算下來的話, 1
個註冊用戶大約 9 美金. Yupoo 的劉平陽能夠偷着算算本身的網站若是賣給老外是怎樣一個價格了.
10. Digg 網站架構
http://www.dbanotes.net/arch/digg_arch_cache_and_shard.html
Digg
工程師採用 LAMP (Linux, Apache, MySQL and PHP) 模式。這個 Alexa 排名在 100 左右的、自我估價 1.5
億美金的站點目前有超過 100 臺的 PC 服務器(足夠少了)，能夠粗略分紅三個部分：數據庫服務器，Web 服務器，搜索服務器。
11.
Amazon 的 Dynamo 架構
http://www.dbanotes.net/techmemo/amazon_dynamo.html
我在
DBAnotes.net 上記錄過很多比較大的網站架構分析(eg: eBay [1], eBay [2]) ，Amazon
一直找不到太多的資料。國慶期間讀到了一篇關於 Amazon Dynamo 的論文，很是精彩。Amazon Dynamo
這個高可用、可擴展存儲體系支撐了Amazon 很多核心服務.
12. 財幫子（caibangzi.com）網站架構
http://www.dbanotes.net/arch/caibangzi_web_arch.html
財幫子(caibangzi.com)
定位在」基金理財社區」。是國內訪問量最大的基於 Ruby on rails 的 startup
項目。「理財」這個詞聽說是光大銀行發明的，且不去管，不能否認的是，目前國內」理財」是個頗有潛力的切入點。財幫子網站潛在用戶羣仍是很大的。
13.
瞭解一下 Technorati 的後臺數據庫架構
http://www.dbanotes.net/web/technorati_db_arch.html
目前處理着大約
10Tb 核心數據, 分佈在大約 20 臺機器上.經過複製, 多增長了 100Tb 數據, 分佈在 200 臺機器上. 天天增加的數據 1TB. 經過 SOA
的運用, 物理與邏輯的訪問相隔離,　彷佛消除了數據庫的瓶頸. 值得一提的是, 該擴展過程始終是利用普通的硬件與開源軟件來完成的. 畢竟 , Web 2.0
站點都不是燒錢的主. 從數據量來看，這絕對是一個相對比較大的 Web 2.0 應用.
14. 說說大型高併發高負載網站的系統架構
http://www.toplee.com/blog/?p=71
我在CERNET作過撥號接入平臺的搭建，然後在Yahoo&3721從事過搜索引擎前端開發，又在MOP處理過大型社區貓撲大雜燴的架構升級等 工做，同時本身接觸和開發過很多大中型網站的模塊，所以在大型網站應對高負載和併發的解決方案上有一些積累和經驗，能夠和你們一塊兒探討一下。
15.
大型高負載網站架構 的感想

http://atman.memoab.com/articles/194

 

摘自：http://blog.csdn.net/lovingprince/article/details/3379710