?

作者：廖君
鏈接：https://www.zhihu.com/question/19868791/answer/88873783
來源：知乎

分布式系統(tǒng)(Distributed System)資料

• 《Reconfigurable Distributed Storage for Dynamic Networks》

介紹:這是一篇介紹在動態(tài)網絡里面實現(xiàn)分布式系統(tǒng)重構的paper.論文的作者(導師)是MIT讀博的時候是做分布式系統(tǒng)的研究的,現(xiàn)在在NUS帶學生,不僅僅是分布式系統(tǒng),還有無線網絡.如果感興趣可以去他的主頁了解.

• 《Distributed porgramming liboratory》

介紹:分布式編程實驗室,他們發(fā)表的很多的paper,其中不僅僅是學術研究,還有一些工業(yè)界應用的論文.

• 《MIT Theory of Distributed Systems》

介紹:麻省理工的分布式系統(tǒng)理論主頁,作者南希·林奇在2002年證明了CAP理論,并且著《分布式算法》一書.

• 《Notes on Distributed Systems for Young Bloods》

介紹:分布式系統(tǒng)搭建初期的一些建議

• 《Principles of Distributed Computing》

介紹:分布式計算原理課程

• 《Google's Globally-Distributed Database》

介紹:Google全球分布式數(shù)據(jù)介紹

• 《The Architecture Of Algolia’s Distributed Search Network》

介紹:Algolia的分布式搜索網絡的體系架構介紹

• 《Build up a High Availability Distributed Key-Value Store》

介紹:構建高可用分布式Key-Value存儲系統(tǒng)

• 《Distributed Search Engine with Nanomsg and Bond》

介紹:Nanomsg和Bond的分布式搜索引擎

• 《Distributed Processing With MongoDB And Mongothon》

介紹:使用MongoDB和Mongothon進行分布式處理

• 《Salt: Combining ACID and BASE in a Distributed Database》

介紹:分布式數(shù)據(jù)庫中把ACID與BASE結合使用.

• 《Makes it easy to understand Paxos for Distributed Systems》

介紹:理解的Paxos的分布式系統(tǒng),參考閱讀:關于Paxos的歷史

• 《There is No Now Problems with simultaneity in distributed systems》

介紹:There is No Now Problems with simultaneity in distributed systems

• 《Distributed Systems》

介紹:倫敦大學學院分布式系統(tǒng)課程課件.

• 《Distributed systems for fun and profit》

介紹:分布式系統(tǒng)電子書籍.

• 《Distributed Systems Spring 2015》

介紹:卡內基梅隆大學春季分布式課程主頁

• 《Distributed Systems: Concepts and Design (5th Edition)》

介紹: 電子書,分布式系統(tǒng)概念與設計(第五版)

• 《走向分布式》

介紹:這是一位臺灣網友 ccshih 的文字，短短的篇幅介紹了分布式系統(tǒng)的若干要點。pdf

• 《Introduction to Distributed Systems Spring 2013》

介紹:清華大學分布式系統(tǒng)課程主頁,里面的schedule欄目有很多寶貴的資源

• 《Distributed systems》

介紹:免費的在線分布式系統(tǒng)書籍

• 《Some good resources for learning about distributed computing》

介紹:Quora上面的一篇關于學習分布式計算的資源.

• 《Spanner: Google’s Globally-Distributed Database》

介紹:這個是第一個全球意義上的分布式數(shù)據(jù)庫，也是Google的作品。其中介紹了很多一致性方面的設計考慮，為了簡單的邏輯設計，還采用了原子鐘，同樣在分布式系統(tǒng)方面具有很強的借鑒意義.

• 《The Chubby lock service for loosely-coupled distributed systems》

介紹:Google的統(tǒng)面向松散耦合的分布式系統(tǒng)的鎖服務,這篇論文詳細介紹了Google的分布式鎖實現(xiàn)機制Chubby。Chubby是一個基于文件實現(xiàn)的分布式鎖，Google的Bigtable、Mapreduce和Spanner服務都是在這個基礎上構建的，所以Chubby實際上是Google分布式事務的基礎，具有非常高的參考價值。另外，著名的zookeeper就是基于Chubby的開源實現(xiàn).推薦The google stack,Youtube:The Chubby lock service for loosely-coupled distributed systems

• 《Sinfonia: a new paradigm for building scalable distributed systems》

介紹:這篇論文是SOSP2007的Best Paper，闡述了一種構建分布式文件系統(tǒng)的范式方法，個人感覺非常有用。淘寶在構建TFS、OceanBase和Tair這些系統(tǒng)時都充分參考了這篇論文.

• 《Data-Intensive Text Processing with MapReduce》

介紹:Ebook:Data-Intensive Text Processing with MapReduce.

• 《Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System》

介紹:Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System.

• 《Distributed Query Processing》

介紹:分布式查詢入門.

• 《Distributed Systems and the End of the API》

介紹:分布式系統(tǒng)和api總結.

• 《Distributed Query Reading》

介紹:分布式系統(tǒng)閱讀論文，此外還推薦github上面的一個論文列表The Distributed Reader。

• 《Replication, atomicity and order in distributed systems》

介紹:Replication, atomicity and order in distributed systems

• 《MIT course:Distributed Systems》

介紹:2015年MIT分布式系統(tǒng)課程主頁，這次用Golang作為授課語言。6.824 Distributed Systems課程主頁

• 《Distributed systems for fun and profit》

介紹:免費分布式系統(tǒng)電子書。

• 《Ori：A Secure Distributed File System》

介紹:斯坦福開源的分布式文件系統(tǒng)。

• 《Availability in Globally Distributed Storage Systems》

介紹:Google論文：設計一個高可用的全球分布式存儲系統(tǒng)。

• 《Calvin: Fast Distributed Transactions For Partitioned Database Systems》

介紹:對于分區(qū)數(shù)據(jù)庫的分布式事務處理。

• 《Distributed Systems Building Block: Flake Ids》

介紹:Distributed Systems Building Block: Flake Ids.

• 《Introduction to Distributed System Design》

介紹:Google Code University課程，如何設計一個分布式系統(tǒng)。

• 《Sheepdog: Distributed Storage System for KVM》

介紹:KVM的分布式存儲系統(tǒng).

• 《Readings in Distributed Systems Systems》

介紹:分布式系統(tǒng)課程列表,包括數(shù)據(jù)庫、算法等.

• 《Tera》

介紹:來自百度的分布式表格系統(tǒng).

• 《Distributed systems: for fun and profit》

介紹:分布式系統(tǒng)的在線電子書.

• 《Distributed Systems Reading List》

介紹:分布式系統(tǒng)資料,此外還推薦Various articles about distributed systems.

• 《Designs, Lessons and Advice from Building Large Distributed Systems》

介紹:Designs, Lessons and Advice from Building Large Distributed Systems.

• 《Testing a Distributed System》

介紹:Testing a distributed system can be trying even under the best of circumstances.

• 《The Google File System》

介紹: 基于普通服務器構建超大規(guī)模文件系統(tǒng)的典型案例，主要面向大文件和批處理系統(tǒng)， 設計簡單而實用。 GFS是google的重要基礎設施， 大數(shù)據(jù)的基石， 也是Hadoop HDFS的參考對象。 主要技術特點包括： 假設硬件故障是常態(tài)（容錯能力強）， 64MB大塊， 單Master設計，Lease/鏈式復制， 支持追加寫不支持隨機寫.

• 《Bigtable: A Distributed Storage System for Structured Data》

介紹:支持PB數(shù)據(jù)量級的多維非關系型大表， 在google內部應用廣泛，大數(shù)據(jù)的奠基作品之一 ， Hbase就是參考BigTable設計。 Bigtable的主要技術特點包括： 基于GFS實現(xiàn)數(shù)據(jù)高可靠， 使用非原地更新技術（LSM樹）實現(xiàn)數(shù)據(jù)修改， 通過range分區(qū)并實現(xiàn)自動伸縮等.

• 《PacificA: Replication in Log-Based Distributed Storage Systems》

介紹:面向log-based存儲的強一致的主從復制協(xié)議， 具有較強實用性。 這篇文章系統(tǒng)地講述了主從復制系統(tǒng)應該考慮的問題， 能加深對主從強一致復制的理解程度。 技術特點： 支持強一致主從復制協(xié)議， 允許多種存儲實現(xiàn)， 分布式的故障檢測/Lease/集群成員管理方法.

• 《Object Storage on CRAQ, High-throughput chain replication for read-mostly workloads》

介紹:分布式存儲論文:支持強一直的鏈式復制方法， 支持從多個副本讀取數(shù)據(jù),實現(xiàn)code.

• 《Finding a needle in Haystack: Facebook’s photo storage》

介紹:Facebook分布式Blob存儲,主要用于存儲圖片. 主要技術特色:小文件合并成大文件,小文件元數(shù)據(jù)放在內存因此讀寫只需一次IO.

• 《Windows Azure Storage: A Highly Available Cloud Storage Service with Strong Consistency》

介紹: 微軟的分布式存儲平臺, 除了支持類S3對象存儲，還支持表格、隊列等數(shù)據(jù)模型. 主要技術特點：采用Stream/Partition兩層設計（類似BigTable）;寫錯（寫滿）就封存Extent,使得副本字節(jié)一致, 簡化了選主和恢復操作; 將S3對象存儲、表格、隊列、塊設備等融入到統(tǒng)一的底層存儲架構中.

• 《Paxos Made Live – An Engineering Perspective》

介紹:從工程實現(xiàn)角度說明了Paxo在chubby系統(tǒng)的應用， 是理解Paxo協(xié)議及其應用場景的必備論文。 主要技術特點： paxo協(xié)議， replicated log， multi-paxo.參考閱讀:關于Paxos的歷史

• 《Dynamo: Amazon’s Highly Available Key-Value Store》

介紹:Amazon設計的高可用的kv系統(tǒng),主要技術特點：綜和運用一致性哈希,vector clock,最終一致性構建一個高可用的kv系統(tǒng)， 可應用于amazon購物車場景.新內容來自分布式存儲必讀論文

• 《Efficient Replica Maintenance for Distributed Storage Systems》

介紹:分布式存儲系統(tǒng)中的副本存儲問題.

• 《PADS: A Policy Architecture for Distributed Storage Systems》

介紹:分布式存儲系統(tǒng)架構.

• 《The Chirp Distributed Filesystem》

介紹:開源分布式文件系統(tǒng)Chirp,對于想深入研究的開發(fā)者可以閱讀文章的相關Papers.

• 《Time, Clocks, and the Ordering of Events in a Distributed System》

介紹:經典論文分布式時鐘順序的實現(xiàn)原理.

• 《Making reliable distributed systems in the presence of sodware errors》

介紹:面向軟件錯誤構建可靠的分布式系統(tǒng),中文筆記.

• 《MapReduce: Simplified Data Processing on Large Clusters》

介紹:MapReduce:超大集群的簡單數(shù)據(jù)處理.

• 《Distributed Computer Systems Engineering》

介紹:麻省理工的分布式計算課程主頁,里面的ppt和閱讀列表很多干貨.

• 《The Styx Architecture for Distributed Systems》

介紹:分布式系統(tǒng)Styx的架構剖析.

• 《What are some good resources for learning about distributed computing? Why?》

介紹:Quora上面的一個問答:有哪些關于分布式計算學習的好資源.

• 《RebornDB: The Next Generation Distributed Key-Value Store》

介紹:下一代分布式k-v存儲數(shù)據(jù)庫.

• 《Operating System Concepts Ninth Edition》

介紹:分布式系統(tǒng)歸根結底還是需要操作系統(tǒng)的知識,這是耶魯大學的操作系統(tǒng)概念書籍首頁,里面有提供了第8版的在線電子版和最新的學習操作系統(tǒng)指南,學習分布式最好先學習操作系統(tǒng).

• 《The Log: What every software engineer should know about real-time data's unifying abstraction》

介紹:分布式系統(tǒng)Log剖析,非常的詳細與精彩. 中文翻譯 | 中文版筆記.

• 《Operating Systems Study Guide》

介紹:分布式系統(tǒng)基礎之操作系統(tǒng)學習指南.

• 《分布式系統(tǒng)領域經典論文翻譯集》

介紹:分布式系統(tǒng)領域經典論文翻譯集.

• 《Maintaining performance in distributed systems》

介紹:分布式系統(tǒng)性能維護.

• 《Computer Science from the Bottom Up》

介紹:計算機科學，自底向上,小到機器碼,大到操作系統(tǒng)內部體系架構,學習操作系統(tǒng)的另一個在線好材料.

• 《Operating Systems: Three Easy Pieces》

介紹:<操作系統(tǒng):三部曲>在線電子書,虛擬、并發(fā)、持續(xù).

• 《Database Systems: reading list》

介紹:數(shù)據(jù)庫系統(tǒng)經典論文閱讀列,此外推送github上面的db reading.

• 《Unix System Administration》

介紹:Unix System Administration ebook.

• 《The Amoeba Distributed Operating System》

介紹:分布式系統(tǒng)經典論文.

• 《Principles of Computer Systems》

介紹:計算機系統(tǒng)概念，以分布式為主.此外推薦Introduction to Operating Systems筆記

• 《Person page of EM?N GüN S?RER》

介紹:推薦康奈爾大學的教授EM?N GüN S?RER的主頁,他的研究項目有分布式,數(shù)據(jù)存儲。例如HyperDex數(shù)據(jù)庫就是他的其中一個項目之一.

• 《Scalable, Secure, and Highly Available Distributed File Access》

介紹:來自卡內基梅隆如何構建可擴展的、安全、高可用性的分布式文件系統(tǒng),其他papers.

• 《Distributed (Deep) Machine Learning Common》

介紹:分布式機器學習常用庫.

• 《The Datacenter as a Computer》

介紹:介紹了如何構建倉儲式數(shù)據(jù)中心,尤其是對于現(xiàn)在的云計算,分布式學習來說很有幫助.本書是Synthesis Lectures on Computer Architecture系列的書籍之一,這套叢書還有 《The Memory System》,《Automatic Parallelization》,《Computer Architecture Techniques for Power Efficiency》,《Performance Analysis and Tuning for General Purpose Graphics Processing Units》,《Introduction to Reconfigurable Supercomputing》 等

• 《helsinki:Distributed Systems Course slider》

介紹:來自芬蘭赫爾辛基的分布式系統(tǒng)課程課件:什么是分布式,復制,一致性,容錯,同步,通信.

• 《TiDB is a distributed SQL database》

介紹:分布式數(shù)據(jù)庫TiDB,Golang開發(fā).

• 《S897: Large-Scale Systems》

介紹:課程資料:大規(guī)模系統(tǒng).

• 《Large-scale L-BFGS using MapReduce》

介紹:使用MapReduce進行大規(guī)模分布式集群環(huán)境下并行L-BFGS.

• 《Twitter是如何構建高性能分布式日志的》

介紹:Twitter是如何構建高性能分布式日志的.

• 《Distributed Systems: When Limping Hardware Is Worse Than Dead Hardware》

介紹:在分布式系統(tǒng)中某個組件徹底死了影響很小，但半死不活（網絡/磁盤），對整個系統(tǒng)卻是毀滅性的.

• 《Tera - 高性能、可伸縮的結構化數(shù)據(jù)庫》

介紹:來自百度的分布式數(shù)據(jù)庫.

• 《SequoiaDB is a distributed document-oriented NoSQL Database》

介紹:SequoiaDB分布式文檔數(shù)據(jù)庫開源.

• 《Readings in distributed systems》

介紹:這個網址里收集了一堆各TOP大學分布式相關的課程.

• 《Paxos vs Raft》

介紹:這個網站是Raft算法的作者為教授Paxos和Raft算法做的，其中有兩個視頻鏈接，分別講上述兩個算法.參考閱讀:關于Paxos的歷史

• 《A Scalable Content-Addressable Network》

介紹:A Scalable Content-Addressable Network.

• 《500 Lines or Less》

介紹:這個項目其實是一本書（ The Architecture of Open Source Applications）的源代碼附錄，是一堆大牛合寫的.

• 《MIT 6.824 Distributed System》

介紹:這只是一個課程主頁，沒有上課的視頻，但是并不影響你跟著它上課：每一周讀兩篇課程指定的論文，讀完之后看lecture-notes里對該論文內容的討論，回答里面的問題來加深理解，最后在課程lab里把所看的論文實現(xiàn)。當你把這門課的作業(yè)刷完后，你會發(fā)現(xiàn)自己實現(xiàn)了一個分布式數(shù)據(jù)庫.

• 《HDFS-alike in Go》

介紹:使用go開發(fā)的分布式文件系統(tǒng).

• 《What are some good resources for learning about distributed computing? Why?》

介紹:Quora上關于學習分布式的資源問答.

• 《SeaweedFS is a simple and highly scalable distributed file system》

介紹:SeaweedFS是使用go開發(fā)的分布式文件系統(tǒng)項目,代碼簡單，邏輯清晰.

• 《Codis - yet another fast distributed solution for Redis》

介紹:Codis 是一個分布式 Redis 解決方案, 對于上層的應用來說, 連接到 Codis Proxy 和連接原生的 Redis Server 沒有明顯的區(qū)別

• 《Paper: Coordination Avoidance In Distributed Databases By Peter Bailis》

介紹:Coordination Avoidance In Distributed Databases.

• 《從零開始寫分布式數(shù)據(jù)庫》

介紹:本文以TiDB 源碼為例.

• 《what we talk about when we talk about distributed systems》

介紹:分布式系統(tǒng)概念梳理,為分布式系統(tǒng)涉及的主要概念進行了梳理.

• 《Distributed locks with Redis》

介紹:使用Redis實現(xiàn)分布式鎖.

• 《CS244b: Distributed Systems》

介紹: 斯坦福2014年秋季分布式課程.

• 《RAMP Made Easy》

介紹: 分布式的“讀原子性”.

• 《Strategies and Principles of Distributed Machine Learning on Big Data》

介紹: 大數(shù)據(jù)分布式機器學習的策略與原理.

• 《Distributed Systems: What is the CAP theorem?》

介紹: 分布式CAP法則.

• 《How should I start to learn distributed storage system as a beginner?》

介紹: 新手如何步入分布式存儲系統(tǒng).

• 《Cassandra - A Decentralized Structured Storage System》

介紹: 分布式存儲系統(tǒng)Cassandra剖析,推薦白皮書Introduction to Apache Cassandra.

• 《What is the best resource to learn about distributed systems?》

介紹: 分布式系統(tǒng)學習資源.

• 《What are some high performance TCP hacks?》

介紹: 一些高性能TCP黑客技巧.

• 《Maintaining performance in distributed systems》

介紹:分布式系統(tǒng)性能提升.

• 《A simple totally ordered broadcast protocol》

介紹:Benjamin Reed 和 Flavio P.Junqueira 所著論文,對Zab算法進行了介紹,zab算法是Zookeeper保持數(shù)據(jù)一致性的核心,在國內有很多公司都使用zookeeper做為分布式的解決方案.推薦與此相關的一篇文章ZooKeeper’s atomic broadcast protocol: Theory and practice.

• 《zFS - A Scalable Distributed File System Using Object Disk》

介紹:可擴展的分布式文件系統(tǒng)ZFS,The Zettabyte File System,End-to-end Data Integrity for File Systems: A ZFS Case Study.

• 《A Distributed Haskell for the Modern Web》

介紹:分布式Haskell在當前web中的應用.

• 《Reasoning about Consistency Choices in Distributed Systems》

介紹:POPL2016的論文,關于分布式系統(tǒng)一致性選擇的論述,POPL所接受的論文,github上已經有人整理.

• 《Paxos Made Simple》

介紹:Paxos讓分布式更簡單.譯文.參考閱讀:關于Paxos的歷史

• 《Consensus Protocols: Paxos》

介紹:分布式系統(tǒng)一致性協(xié)議:Paxos.參考閱讀:關于Paxos的歷史

• 《Consensus on Transaction Commit》

介紹：事務提交的一致性探討.

• 《The Part-Time Parliaments》

介紹:在《The Part-Time Parliament》中描述了基本協(xié)議的交互過程。在基本協(xié)議的基礎上完善各種問題得到了最終的議會協(xié)議。 為了讓人更容易理解《The Part-Time Parliament》中描述的Paxos算法，Lamport在2001發(fā)表了《Paxos Made Simple》，以更平直的口頭語言描述了Paxos，而沒有包含正式的證明和數(shù)學術語。《Paxos Made Simple》中，將算法的參與者更細致的劃分成了幾個角色：Proposer、Acceptor、Learner。另外還有Leader和Client.參考閱讀:關于Paxos的歷史

• 《Paxos Made Practical》

介紹:看這篇論文時可以先看看理解Paxos Made Practical.

• 《PaxosLease: Diskless Paxos for Leases》

介紹：PaxosLease：實現(xiàn)租約的無盤Paxos算法,譯文.

• 《Paxos Made Moderately Complex》

介紹：Paxos算法實現(xiàn),譯文,同時推薦42 Paxos Made Moderately Complex.

• 《Hadoop Reading List》

介紹：Hadoop學習清單.

• 《Hadoop Reading List》

介紹：Hadoop學習清單.

• 《2010 NoSQL Summer Reading List》

介紹：NoSQL知識清單,里面不僅僅包含了數(shù)據(jù)庫閱讀清單還包含了分布式系統(tǒng)資料.

• 《Raft: Understandable Distributed Consensus》

介紹：Raft可視化圖幫助理解分布式一致性

• 《Etcd:Distributed reliable key-value store for the most critical data of a distributed system》

介紹：Etcd分布式Key-Value存儲引擎

• 《Understanding Availability》

介紹：理解peer-to-peer系統(tǒng)中的可用性究竟是指什么.同時推薦基于 Peer-to-Peer 的分布式存儲系統(tǒng)的設計

• 《Process structuring, synchronization, and recovery using atomic actions》

介紹：經典論文

• 《Programming Languages for Parallel Processing》

介紹：并行處理的編程語音

• 《Analysis of Six Distributed File Systems》

介紹：此篇論文對HDFS,MooseFS,iRODS,Ceph,GlusterFS,Lustre六個存儲系統(tǒng)做了詳細分析.如果是自己研發(fā)對應的存儲系統(tǒng)推薦先閱讀此篇論文

• 《A Survey of Distributed File Systems》

介紹：分布式文件系統(tǒng)綜述

• 《Concepts of Concurrent Programming》

介紹：并行編程的概念,同時推薦卡內基梅隆FTP

• 《Concurrency Control Performance Modeling:Alternatives and Implications》

介紹：并發(fā)控制性能建模：選擇與意義

• 《Distributed Systems - Concepts and Design 5th Edition》

介紹：ebook分布式系統(tǒng)概念與設計

• 《分布式系統(tǒng)設計的形式方法》

介紹：分布式系統(tǒng)設計的形式方法

• 《互斥和選舉算法》

介紹：互斥和選舉算法

• 《Actors：A model Of Concurrent Cornputation In Distributed Systems》

介紹：經典論文

• 《Security Engineering: A Guide to Building Dependable Distributed Systems》

介紹：如何構建一個安全可靠的分布式系統(tǒng),About the Author,Bibliography:文獻資料,章節(jié)訪問把鏈接最后的01換成01-27即可

• 《15-712 Advanced and Distributed Operating Systems》

介紹：卡內基梅隆大學的分布式系統(tǒng)博士生課程主頁,有很豐富的資料

• 《Dapper, Google's Large-Scale Distributed Systems Tracing Infrastructure》

介紹：Dapper，大規(guī)模分布式系統(tǒng)的跟蹤系統(tǒng),譯文,譯文對照

• 《CS262a: Advanced Topics in Computer Systems》

介紹：伯克利大學計算機系統(tǒng)進階課程,內容有深度,涵蓋分布式,數(shù)據(jù)庫等內容

• 《Egnyte Architecture: Lessons Learned In Building And Scaling A Multi Petabyte Distributed System》

介紹：PB級分布式系統(tǒng)構建/擴展經驗

• 《CS162: Operating Systems and Systems Programming》

介紹：伯克利大學計算機系統(tǒng)課程:操作系統(tǒng)與系統(tǒng)編程

• 《MDCC: Multi-Data Center Consistency》

介紹：MDCC主要解決跨數(shù)據(jù)中心的一致性問題中間件,一種新的協(xié)議

• 《Research at Google:Distributed Systems and Parallel Computing》

介紹：google公開對外發(fā)表的分布式系統(tǒng)與并行計算論文

• 《HDFS Architecture Guide》

介紹：分布式文件系統(tǒng)HDFS架構

• 《ActorDB distributed SQL database》

介紹：分布式 Key/Value數(shù)據(jù)庫

• 《An efficient data location protocol for self-organizing storage clusters》

介紹：是著名的Ceph的負載平衡策略，文中提出的幾種策略都值得嘗試，比較贊的一點是可以對照代碼體會和實踐,如果你還需要了解可以看看Ceph:一個 Linux PB 級分布式文件系統(tǒng),除此以外,論文的引用部分也挺值得閱讀的,同時推薦Ceph: A Scalable, High-Performance Distributed File System

• 《A Self-Organizing Storage Cluster for Parallel Data-Intensive Applications》

介紹：Surrento的冷熱平衡策略就采用了延遲寫技術

• 《HBA: Distributed Metadata Management for Large Cluster-Based Storage Systems》

介紹：對于分布式存儲系統(tǒng)的元數(shù)據(jù)管理.

• 《Server-Side I/O Coordination for Parallel File Systems》

介紹：服務器端的I/O協(xié)調并行文件系統(tǒng)處理,網絡,文件存儲等都會涉及到IO操作.不過里面涉及到很多技巧性的思路在實踐時需要斟酌

• 《Distributed File Systems: Concepts and Examples》

介紹：分布式文件系統(tǒng)概念與應用

• 《CSE 221: Graduate Operating Systems》

介紹：加利福尼亞大學的研究生操作系統(tǒng)課程主頁，論文很值得閱讀

• 《S4: Distributed Stream Computing Platform》

介紹：Yahoo出品的流式計算系統(tǒng)，目前最流行的兩大流式計算系統(tǒng)之一（另一個是storm），Yahoo的主要廣告計算平臺

• 《Pregel: a system for large-scale graph processing》

介紹：Google的大規(guī)模圖計算系統(tǒng)，相當長一段時間是Google PageRank的主要計算系統(tǒng)，對開源的影響也很大（包括GraphLab和GraphChi）

• 《GraphLab: A New Framework for Parallel Machine Learning》

介紹：CMU基于圖計算的分布式機器學習框架，目前已經成立了專門的商業(yè)公司，在分布式機器學習上很有兩把刷子，其單機版的GraphChi在百萬維度的矩陣分解都只需要2~3分鐘；

• 《F1: A Distributed SQL Database That Scales》

介紹：這篇論文是Google 2013年發(fā)表的，介紹了F1的架構思路，13年時就開始支撐Google的AdWords業(yè)務，另外兩篇介紹文章F1 - The Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business .Google NewSQL之F1

• 《Cockroach DB:A Scalable, Survivable, Strongly-Consistent SQL Database》

介紹：CockroachDB ：一個可伸縮的、跨地域復制的，且支持事務的數(shù)據(jù)存儲,InfoQ介紹,Design and Architecture of CockroachDb

• 《Multi-Paxos: An Implementation and Evaluation》

介紹：Multi-Paxos實現(xiàn)與總結，此外推薦Paxos/Multi-paxos Algorithm,Multi-Paxos Example，地址:ftp://ftp.cs.washington.edu/tr/2009/09/UW-CSE-09-09-02.PDF

• 《Zab: High-performance broadcast for primary-backup systems》

介紹：一致性協(xié)議zab分析

• 《A Distributed Hash Table》

介紹：分布式哈希算法論文,擴展閱讀Introduction to Distributed Hash Tables,Distributed Hash Tables

• 《Comparing the performance of distributed hash tables under churn》

介紹：分布式hash表性能的Churn問題

• 《Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web》

介紹：分布式系統(tǒng)的CAP問題,推薦Perspectives on the CAP Theorem.對CAP理論的解析文章,PODC ppt,A plain english introduction to CAP Theorem,IEEE Computer issue on the CAP Theorem

注：里面的很多內容需要梯子

轉載于:https://www.cnblogs.com/davidwang456/p/5411160.html

總結

以上是生活随笔為你收集整理的想从事分布式系统，计算，hadoop等方面，需要哪些基础，推荐哪些书籍？--转自知乎...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。