分佈式系統(Distributed System)資料

時間  2019-11-15
標籤 分佈式 系統 distributed system 資料 欄目 系統架構 简体版
原文   原文鏈接
這個資料關於分佈式系統資料，做者寫的太好了。拿過來以備用
 
網址：https://github.com/ty4z2008/Qix/blob/master/ds.md
但願轉載的朋友，你能夠不用聯繫我．可是必定要保留原文連接，由於這個項目還在繼續也在不按期更新．但願看到文章的朋友可以學到更多．

介紹:這是一篇介紹在動態網絡裏面實現分佈式系統重構的paper.論文的做者(導師)是MIT讀博的時候是作分佈式系統的研究的,如今在NUS帶學生,不只僅是分佈式系統,還有無線網絡.若是感興趣能夠去他的主頁瞭解.php

介紹:分佈式編程實驗室,他們發表的不少的paper,其中不只僅是學術研究,還有一些工業界應用的論文.html

介紹:麻省理工的分佈式系統理論主頁,做者南希·林奇在2002年證實了CAP理論,而且著《分佈式算法》一書.linux

介紹:分佈式系統搭建初期的一些建議git

介紹:分佈式計算原理課程程序員

介紹:Google全球分佈式數據介紹,中文版github

介紹:Algolia的分佈式搜索網絡的體系架構介紹golang

介紹:構建高可用分佈式Key-Value存儲系統web

介紹:Nanomsg和Bond的分佈式搜索引擎redis

介紹:使用MongoDB和Mongothon進行分佈式處理算法

介紹:分佈式數據庫中把ACID與BASE結合使用.

介紹:理解的Paxos的分佈式系統,參考閱讀:關於Paxos的歷史

介紹:There is No Now Problems with simultaneity in distributed systems

介紹:倫敦大學學院分佈式系統課程課件.

介紹:分佈式系統電子書籍.

介紹:卡內基梅隆大學春季分佈式課程主頁

介紹: 電子書,分佈式系統概念與設計(第五版)

介紹:這是一位臺灣網友 ccshih 的文字，短短的篇幅介紹了分佈式系統的若干要點。pdf

介紹:清華大學分佈式系統課程主頁,裏面的schedule欄目有不少寶貴的資源

介紹:免費的在線分佈式系統書籍

介紹:Quora上面的一篇關於學習分佈式計算的資源.

介紹:這個是第一個全球意義上的分佈式數據庫，也是Google的做品。其中介紹了不少一致性方面的設計考慮，爲了簡單的邏輯設計，還採用了原子鐘，一樣在分佈式系統方面具備很強的借鑑意義.

介紹:Google的統面向鬆散耦合的分佈式系統的鎖服務,這篇論文詳細介紹了Google的分佈式鎖實現機制Chubby。Chubby是一個基於文件實現的分佈式鎖，Google的Bigtable、Mapreduce和Spanner服務都是在這個基礎上構建的，因此Chubby其實是Google分佈式事務的基礎，具備很是高的參考價值。另外，著名的zookeeper就是基於Chubby的開源實現.推薦The google stack,Youtube:The Chubby lock service for loosely-coupled distributed systems

介紹:這篇論文是SOSP2007的Best Paper，闡述了一種構建分佈式文件系統的範式方法，我的感受很是有用。淘寶在構建TFS、OceanBase和Tair這些系統時都充分參考了這篇論文.

介紹:Ebook:Data-Intensive Text Processing with MapReduce.

介紹:Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System.

介紹:分佈式查詢入門.

介紹:分佈式系統和api總結.

介紹:分佈式系統閱讀論文，此外還推薦github上面的一個論文列表The Distributed Reader。

介紹:Replication, atomicity and order in distributed systems

介紹:2015年MIT分佈式系統課程主頁，此次用Golang做爲授課語言。6.824 Distributed Systems課程主頁

介紹:免費分佈式系統電子書。

介紹:斯坦福開源的分佈式文件系統。

介紹:Google論文：設計一個高可用的全球分佈式存儲系統。

介紹:對於分區數據庫的分佈式事務處理。

介紹:Distributed Systems Building Block: Flake Ids.

介紹:Google Code University課程，如何設計一個分佈式系統。

介紹:KVM的分佈式存儲系統.

介紹:分佈式系統課程列表,包括數據庫、算法等.

介紹:來自百度的分佈式表格系統.

介紹:分佈式系統的在線電子書.

介紹:分佈式系統資料,此外還推薦Various articles about distributed systems.

介紹:Designs, Lessons and Advice from Building Large Distributed Systems.

介紹:Testing a distributed system can be trying even under the best of circumstances.

介紹: 基於普通服務器構建超大規模文件系統的典型案例，主要面向大文件和批處理系統， 設計簡單而實用。 GFS是google的重要基礎設施， 大數據的基石， 也是Hadoop HDFS的參考對象。 主要技術特色包括： 假設硬件故障是常態（容錯能力強）， 64MB大塊， 單Master設計，Lease/鏈式複製， 支持追加寫不支持隨機寫.

介紹:支持PB數據量級的多維非關係型大表， 在google內部應用普遍，大數據的奠定做品之一 ， Hbase就是參考BigTable設計。 Bigtable的主要技術特色包括： 基於GFS實現數據高可靠， 使用非原地更新技術（LSM樹）實現數據修改， 經過range分區並實現自動伸縮等.中文版

介紹:面向log-based存儲的強一致的主從複製協議， 具備較強實用性。 這篇文章系統地講述了主從複製系統應該考慮的問題， 能加深對主從強一致複製的理解程度。 技術特色： 支持強一致主從複製協議， 容許多種存儲實現， 分佈式的故障檢測/Lease/集羣成員管理方法.

介紹:分佈式存儲論文:支持強一直的鏈式複製方法， 支持從多個副本讀取數據,實現code.

介紹:Facebook分佈式Blob存儲,主要用於存儲圖片. 主要技術特點:小文件合併成大文件,小文件元數據放在內存所以讀寫只需一次IO.

介紹: 微軟的分佈式存儲平臺, 除了支持類S3對象存儲，還支持表格、隊列等數據模型. 主要技術特色：採用Stream/Partition兩層設計（相似BigTable）;寫錯（寫滿）就封存Extent,使得副本字節一致, 簡化了選主和恢復操做; 將S3對象存儲、表格、隊列、塊設備等融入到統一的底層存儲架構中.

介紹:從工程實現角度說明了Paxo在chubby系統的應用， 是理解Paxo協議及其應用場景的必備論文。 主要技術特色： paxo協議， replicated log， multi-paxo.參考閱讀:關於Paxos的歷史

介紹:Amazon設計的高可用的kv系統,主要技術特色：綜和運用一致性哈希,vector clock,最終一致性構建一個高可用的kv系統， 可應用於amazon購物車場景.新內容來自分佈式存儲必讀論文

介紹:分佈式存儲系統中的副本存儲問題.

介紹:分佈式存儲系統架構.

介紹:開源分佈式文件系統Chirp,對於想深刻研究的開發者能夠閱讀文章的相關Papers.

介紹:經典論文分佈式時鐘順序的實現原理.

介紹:面向軟件錯誤構建可靠的分佈式系統,中文筆記.

介紹:MapReduce:超大集羣的簡單數據處理.

介紹:麻省理工的分佈式計算課程主頁,裏面的ppt和閱讀列表不少乾貨.

介紹:分佈式系統Styx的架構剖析.

介紹:Quora上面的一個問答:有哪些關於分佈式計算學習的好資源.

介紹:下一代分佈式k-v存儲數據庫.

介紹:分佈式系統歸根結底仍是須要操做系統的知識,這是耶魯大學的操做系統概念書籍首頁,裏面有提供了第8版的在線電子版和最新的學習操做系統指南,學習分佈式最好先學習操做系統.

介紹:分佈式系統Log剖析,很是的詳細與精彩. 中文翻譯 | 中文版筆記.

介紹:分佈式系統基礎之操做系統學習指南.

介紹:分佈式系統領域經典論文翻譯集.

介紹:分佈式系統性能維護.

介紹:計算機科學，自底向上,小到機器碼,大到操做系統內部體系架構,學習操做系統的另外一個在線好材料.

介紹:<操做系統:三部曲>在線電子書,虛擬、併發、持續.

介紹:數據庫系統經典論文閱讀列,此外推送github上面的db reading.

介紹:Unix System Administration ebook.

介紹:分佈式系統經典論文.

介紹:計算機系統概念，以分佈式爲主.此外推薦Introduction to Operating Systems筆記

介紹:推薦康奈爾大學的教授EMİN GÜN SİRER的主頁,他的研究項目有分佈式,數據存儲。例如HyperDex數據庫就是他的其中一個項目之一.

介紹:來自卡內基梅隆如何構建可擴展的、安全、高可用性的分佈式文件系統,其餘papers.

介紹:分佈式機器學習經常使用庫.

介紹:介紹瞭如何構建倉儲式數據中心,尤爲是對於如今的雲計算,分佈式學習來講頗有幫助.本書是Synthesis Lectures on Computer Architecture系列的書籍之一,這套叢書還有 《The Memory System》,《Automatic Parallelization》,《Computer Architecture Techniques for Power Efficiency》,《Performance Analysis and Tuning for General Purpose Graphics Processing Units》,《Introduction to Reconfigurable Supercomputing》,Memory Systems Cache, DRAM, Disk 等

介紹:來自芬蘭赫爾辛基的分佈式系統課程課件:什麼是分佈式,複製,一致性,容錯,同步,通訊.

介紹:分佈式數據庫TiDB,Golang開發.

介紹:課程資料:大規模系統.

介紹:使用MapReduce進行大規模分佈式集羣環境下並行L-BFGS.

介紹:Twitter是如何構建高性能分佈式日誌的.

介紹:在分佈式系統中某個組件完全死了影響很小，但半死不活（網絡/磁盤），對整個系統倒是毀滅性的.

介紹:來自百度的分佈式數據庫.

介紹:SequoiaDB分佈式文檔數據庫開源.

介紹:這個網址裏收集了一堆各TOP大學分佈式相關的課程.

介紹:這個網站是Raft算法的做者爲教授Paxos和Raft算法作的，其中有兩個視頻連接，分別講上述兩個算法.參考閱讀:關於Paxos的歷史

介紹:A Scalable Content-Addressable Network.

介紹:這個項目實際上是一本書（ The Architecture of Open Source Applications）的源代碼附錄，是一堆大牛合寫的.

介紹:這只是一個課程主頁，沒有上課的視頻，可是並不影響你跟着它上課：每一週讀兩篇課程指定的論文，讀完以後看lecture-notes裏對該論文內容的討論，回答裏面的問題來加深理解，最後在課程lab裏把所看的論文實現。當你把這門課的做業刷完後，你會發現本身實現了一個分佈式數據庫.

介紹:使用go開發的分佈式文件系統.

介紹:Quora上關於學習分佈式的資源問答.

介紹:SeaweedFS是使用go開發的分佈式文件系統項目,代碼簡單，邏輯清晰.

介紹:Codis 是一個分佈式 Redis 解決方案, 對於上層的應用來講, 鏈接到 Codis Proxy 和鏈接原生的 Redis Server 沒有明顯的區別

介紹:Coordination Avoidance In Distributed Databases.

介紹:本文以TiDB 源碼爲例.

介紹:分佈式系統概念梳理,爲分佈式系統涉及的主要概念進行了梳理.

介紹:使用Redis實現分佈式鎖.

介紹: 斯坦福2014年秋季分佈式課程.

介紹: 分佈式的「讀原子性」.

介紹: 大數據分佈式機器學習的策略與原理.

介紹: 分佈式CAP法則.

介紹: 新手如何步入分佈式存儲系統.

介紹: 分佈式存儲系統Cassandra剖析,推薦白皮書Introduction to Apache Cassandra.

介紹: 分佈式系統學習資源.

介紹: 一些高性能TCP黑客技巧.

介紹:分佈式系統性能提高.

介紹:Benjamin Reed 和 Flavio P.Junqueira 所著論文,對Zab算法進行了介紹,zab算法是Zookeeper保持數據一致性的核心,在國內有不少公司都使用zookeeper作爲分佈式的解決方案.推薦與此相關的一篇文章ZooKeeper’s atomic broadcast protocol: Theory and practice.

介紹:可擴展的分佈式文件系統ZFS,The Zettabyte File System,End-to-end Data Integrity for File Systems: A ZFS Case Study.

介紹:分佈式Haskell在當前web中的應用.

介紹:POPL2016的論文,關於分佈式系統一致性選擇的論述,POPL所接受的論文,github上已經有人整理.

介紹:Paxos讓分佈式更簡單.譯文.參考閱讀:關於Paxos的歷史,understanding Paxos part1,Understanding Paxos – Part 2.Quora: What is a simple explanation of the Paxos algorithm?,Tutorial Summary: Paxos Explained from Scratch,Paxos algorithm explained, part 1: The essentials,Paxos algorithm explained, part 2: Insights

介紹:分佈式系統一致性協議:Paxos.參考閱讀:關於Paxos的歷史

介紹：事務提交的一致性探討.

介紹:在《The Part-Time Parliament》中描述了基本協議的交互過程。在基本協議的基礎上完善各類問題獲得了最終的議會協議。 爲了讓人更容易理解《The Part-Time Parliament》中描述的Paxos算法，Lamport在2001發表了《Paxos Made Simple》，以更平直的口頭語言描述了Paxos，而沒有包含正式的證實和數學術語。《Paxos Made Simple》中，將算法的參與者更細緻的劃分紅了幾個角色：Proposer、Acceptor、Learner。另外還有Leader和Client.參考閱讀:關於Paxos的歷史

介紹:看這篇論文時能夠先看看理解Paxos Made Practical.

介紹：PaxosLease：實現租約的無盤Paxos算法,譯文.

介紹：Paxos算法實現,譯文,同時推薦42 Paxos Made Moderately Complex.

介紹：Hadoop學習清單.

介紹：Hadoop學習清單.

介紹：NoSQL知識清單,裏面不只僅包含了數據庫閱讀清單還包含了分佈式系統資料.

介紹：Raft可視化圖幫助理解分佈式一致性

介紹：Etcd分佈式Key-Value存儲引擎

介紹：理解peer-to-peer系統中的可用性到底是指什麼.同時推薦基於 Peer-to-Peer 的分佈式存儲系統的設計

介紹：經典論文

介紹：並行處理的編程語音

介紹：此篇論文對HDFS,MooseFS,iRODS,Ceph,GlusterFS,Lustre六個存儲系統作了詳細分析.若是是本身研發對應的存儲系統推薦先閱讀此篇論文

介紹：分佈式文件系統綜述

  • 《Concepts of Concurrent Programming》

介紹：並行編程的概念,同時推薦卡內基梅隆FTP

介紹：併發控制性能建模：選擇與意義

介紹：ebook分佈式系統概念與設計

介紹：分佈式系統設計的形式方法

介紹：互斥和選舉算法

介紹：經典論文

介紹：如何構建一個安全可靠的分佈式系統,About the Author,Bibliography:文獻資料,章節訪問把連接最後的01換成01-27便可

介紹：卡內基梅隆大學的分佈式系統博士生課程主頁,有很豐富的資料

介紹：Dapper，大規模分佈式系統的跟蹤系統,譯文,譯文對照

介紹：伯克利大學計算機系統進階課程,內容有深度,涵蓋分佈式,數據庫等內容

介紹：PB級分佈式系統構建/擴展經驗

介紹：伯克利大學計算機系統課程:操做系統與系統編程

介紹：MDCC主要解決跨數據中心的一致性問題中間件,一種新的協議

介紹：google公開對外發表的分佈式系統與並行計算論文

介紹：分佈式文件系統HDFS架構

介紹：分佈式 Key/Value數據庫

介紹：是著名的Ceph的負載平衡策略，文中提出的幾種策略都值得嘗試，比較讚的一點是能夠對照代碼體會和實踐,若是你還須要瞭解能夠看看Ceph:一個 Linux PB 級分佈式文件系統,除此之外,論文的引用部分也挺值得閱讀的,同時推薦Ceph: A Scalable, High-Performance Distributed File System

介紹：Surrento的冷熱平衡策略就採用了延遲寫技術

介紹：對於分佈式存儲系統的元數據管理.

介紹：服務器端的I/O協調並行文件系統處理,網絡,文件存儲等都會涉及到IO操做.不過裏面涉及到不少技巧性的思路在實踐時須要斟酌

介紹：分佈式文件系統概念與應用

介紹：加利福尼亞大學的研究生操做系統課程主頁，論文很值得閱讀

介紹：Yahoo出品的流式計算系統，目前最流行的兩大流式計算系統之一（另外一個是storm），Yahoo的主要廣告計算平臺

介紹：Google的大規模圖計算系統，至關長一段時間是Google PageRank的主要計算系統，對開源的影響也很大（包括GraphLab和GraphChi）

介紹：CMU基於圖計算的分佈式機器學習框架，目前已經成立了專門的商業公司，在分佈式機器學習上頗有兩把刷子，其單機版的GraphChi在百萬維度的矩陣分解都只須要2~3分鐘；

介紹：這篇論文是Google 2013年發表的，介紹了F1的架構思路，13年時就開始支撐Google的AdWords業務，另外兩篇介紹文章F1 - The Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business .Google NewSQL之F1

介紹：CockroachDB ：一個可伸縮的、跨地域複製的，且支持事務的數據存儲,InfoQ介紹,Design and Architecture of CockroachDb

  • 《Multi-Paxos: An Implementation and Evaluation》

介紹：Multi-Paxos實現與總結，此外推薦Paxos/Multi-paxos Algorithm,Multi-Paxos Example，地址:ftp://ftp.cs.washington.edu/tr/2009/09/UW-CSE-09-09-02.PDF

介紹：一致性協議zab分析

介紹：分佈式哈希算法論文,擴展閱讀Introduction to Distributed Hash Tables,Distributed Hash Tables

介紹：分佈式hash表性能的Churn問題

介紹：分佈式系統的CAP問題,推薦Perspectives on the CAP Theorem.對CAP理論的解析文章,PODC ppt,A plain english introduction to CAP Theorem,IEEE Computer issue on the CAP Theorem

介紹：閃存存儲文件系統F2FS

介紹：微軟發表的關於i/o訪問優化論文

介紹：虛擬內存文件系統tmpfs

介紹：Linux B-tree文件系統.

介紹：Akamai是全球最大的雲計算機平臺之一，承載了全球15-30%網絡流量,若是你是作CDN或者是雲服務,這個裏面的論文會給你頗有幫助.例如這幾天看facebook開源的osquery。找到經過db的方式運維,找到Keeping Track of 70,000+ Servers: The Akamai Query System這篇論文，先看論文領會思想，而後再使用工具osquery實踐

介紹：來自eBay 的解決方案,譯文Base: 一種Acid的替代方案,應用案例參考保證分佈式系統數據一致性的6種方案

介紹：Jim Waldo和Sam Kendall等人共同撰寫了一篇很是有名的論文「分佈式計算備忘錄」，這篇論文在Reddit上被人推薦爲「每一個程序員都應當至少讀上兩篇」的論文。在這篇論文中，做者表示「忽略本地計算與分佈式計算之間的區別是一種危險的思想」，特別指出了Emerald、Argus、DCOM以及CORBA的設計問題。做者將這些設計問題概括爲「三個錯誤的原則」： 「對於某個應用來講，不管它的部署環境如何，總有一種單一的、天然的面向對象設計能夠符合其需求。」 「故障與性能問題與某個應用的組件實現直接相關，在最初的設計中無需考慮這些問題。」 「對象的接口與使用對象的上下文無關」.

介紹：分佈式系統領域經典論文列表.

介紹：Consistent Hashing算法描述.

介紹：SIGMOD是世界上最有名的數據庫會議之一,最具備權威性,收錄論文審覈很是嚴格.2016年的SIGMOD 會議照常進行,上面收錄了今年SIGMOD收錄的論文,把題目輸入google中加上pdf就能找到,不少論文值得閱讀,SIGMOD 2015

介紹:耶魯大學的分佈式系統理論課程筆記

介紹:分佈式系統文檔資源（可下載）

介紹:數據庫系統剖析，這本書是由伯克利大學的Joseph M. Hellerstein和M. Stonebraker合著的一篇論文.對數據庫剖析頗有深度.除此之外還有一篇文章Architecture of a Database System。數據庫系統架構,廈門大學的數據庫實驗室教授林子雨組織過翻譯

介紹:數據庫關係模型論文

介紹:中國人民大學數據研究實驗室推薦的數據庫領域論文

介紹:構建可擴展的分佈式信息管理系統

介紹:Haskell中的分佈式系統開發

介紹:Google使用Borg進行大規模集羣的管理,伯克利大學ppt介紹,中文版

介紹:併發編程（Concurrency Programming）資料,主要涵蓋lock free數據結構實現、內存回收方法、memory model等備份連接 密碼: xc5j

介紹:Nancy Lynch's的分佈式算法研究生課程講義

介紹:分佈式算法主題模型.

介紹:世界上很是有名的推薦系統會議，我比較推薦接收的PAPER

介紹:推薦一個博客,博主是Amazon CTO Werner Vogels,這是一個關注分佈式領域的博客.大部分博文是關於在工業界應用.

介紹:這個Git是由阿里(alibaba)的技術專家何登成維護,主要是分佈式數據庫.

介紹:Erlang的做者Joe Armstrong撰寫的論文，面對軟件錯誤構建可靠的分佈式系統.中文譯版

介紹:伊利諾伊大學的Advanced Distributed Systems 裏把各個方向重要papers（updated Spring 2015）列舉出來，能夠參考一下

介紹:這是一本分佈式算法電子書,做者是Jukka Suomela.講述了多個計算模型,一致性,惟一標示,併發等.

介紹:當時是在閱讀如何設計一個緩存系統時看到的，而後經過Google找到了這一篇關於緩存策略的論文，它是LFU的改良版,中文介紹.若是有興趣能夠看看Golang實現版。結合起來可能會幫助你理解

介紹:斯坦福大學給研究生開的分佈式系統課程。教師是 spark 做者 matei. 能把這些內容真正理解透，分佈式系統的功力就很強了。

介紹:[怎麼學系列]學習分佈式系統須要怎樣的知識？

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程