分佈式文件系統----基礎

文件系統

 

 

　　計算機的每個磁盤就是由一個文件系統管理

 

 

 

分佈式文件系統

　　分佈式文件系統（Distributed File System）是指文件系統管理的物理存儲資源不必定直接鏈接在本地節點上，而是經過計算機網絡與節點相連。分佈式文件系統的設計基於客戶機服務器模式。一個典型的網絡可能包括多個供多用戶訪問的服務器。另外，對等特性容許一些系統扮演客戶機和服務器的雙重角色。例如，用戶能夠「發表」一個容許其餘客戶機訪問的目錄，一旦被訪問，這個目錄對客戶機來講就像使用本地驅動器同樣，下面是三個基本的分佈式文件系統。

NFS（網絡文件系統）

　　NFS（Network File System）即網絡文件系統，是FreeBSD支持的文件系統中的一種，它容許網絡中的計算機之間經過TCP/IP網絡共享資源。在NFS的應用中，本地NFS的客戶端應用能夠透明地讀寫位於遠端NFS服務器上的文件，就像訪問本地文件同樣。

               

 

使用

• 在客戶端上映射NFS服務器的驅動器。
• 客戶端經過網絡訪問NFS服務器的硬盤徹底透明。 

GFS（googleFs）

　　GFS是一個可擴展的分佈式文件系統，用於大型的、分佈式的、對大量數據進行訪問的應用。它運行於廉價的普通硬件上，能夠提供容錯功能。它能夠給大量的用戶提供整體性能較高的服務。

• 1）GFS採用主從結構，一個GFS集羣由一個master和大量的chunkserver組成。
• 2）master存儲了數據文件的元數據，一個文件被分紅了若干塊存儲在多個chunkserver中。
• 3）用戶從master中獲取數據元信息，從chunkserver存儲數據。

HDSF

　　Hadoop分佈式文件系統（HDFS）被設計成適合運行在通用硬件（commodity hardware）上的分佈式文件系統。它和現有的分佈式文件系統有不少共同點。但同時，它和其餘的分佈式文件系統的區別也是很明顯的。HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，很是適合大規模數據集上的應用。HDFS放寬了一部分POSIX約束，來實現流式讀取文件系統數據的目的。HDFS在最開始是做爲Apache Nutch搜索引擎項目的基礎架構而開發的。HDFS是Apache Hadoop Core項目的一部分。

                     

 

 

• 1）HDFS採用主從結構，一個HDFS集羣由一個名稱結點和若干數據結點組成。名稱結點存儲數據的元信息，一個完整的數據文件分紅若干塊存儲在數據結點。
• 2）客戶端從名稱結點獲取數據的元信息及數據分塊的信息，獲得信息客戶端便可從數據塊來存取數據。

 

分佈式文件服務提供商

一、阿里的OSS
二、七牛雲存儲
三、百度雲存儲