找到一個適合的分佈式文件系統之各類分佈式文件系統優缺點對比

1、各類分佈式文件系統對比

1.1 表格對比

技術	優勢	缺點	總結
一、   HDFS	一、大數據批量讀寫，吞吐量高； 二、一次寫入，屢次讀取，順序讀寫；	一、交互式應用，低延遲很難知足； 二、不支持多用戶併發寫相同文件。	若是是不少小文件，nameNode壓力大
二、    googleFs	一、成本低，運行在廉價的普通硬件上	一、不開源	不開源，使用困難
三、   Tfs	一、    開源	一、小於1M的文件 二、TFS內部是沒有任何數據的內存緩衝的	適合單個文件比較小的系統
四、   Lustre	一、  開源 二、  支持POSIX 三、  文件被分割成若干的Chunk，每一個chunk是通常爲1MB－4MB
五、 Ceph	一、支持POSIX 二、開源		一、  在Linux主流內核中找到ceph 二、不成熟，處於測試推廣階段
六、  MogileFs	一、開源		比FastDFS 差
七、   FastDFS	一、  開源 二、  適合以文件爲載體的在線服務 三、  FastDFS沒有對文件作分塊存儲 四、  不須要二次開發便可直接使用 五、  比mogileFS更易維護和使用 六、  直接使用socket通訊方式，相對於MogileFS的HTTP方式，效率更高。	一、文件訪問方式使用專有API，不支持POSIX
八、swiftfs			一、基於HDFS
九、NFS	一、用戶和程序能夠象訪問本地文件同樣訪問遠端系統上的文件

 

 

開源的分佈式文件/對象系統比較有名的包括Lustre（HPC）GlusterFS（NAS NFS）、HDFS（hadoop）、ceph（虛機塊存儲）、swift（restful對象存儲），各有不一樣的領域。

 

1.2 相關連接

1.2.1     Hadoop

http://tech.it168.com/a2012/1029/1414/000001414776.shtml

hadoop文檔 ：http://hadoop.apache.org/

https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

1.2.2     Googlefs 不開源

1.2.3     Tfs

開源首頁：http://tfs.taobao.org/

1.2.4     Lustre

http://lustre.org/

http://lustre.org/getting-started-with-lustre/

1.2.5     ceph：

社區網站地址：
http://ceph.org.cn/
中文文檔：
http://docs.ceph.org.cn/start/intro/

源碼：https://github.com/ceph/ceph

https://www.oschina.net/translate/ceph

http://dockone.io/article/307

1.2.6     MogileFs

1.2.7     fastdfs

http://elf8848.iteye.com/blog/1739596

MogileFs 和FastDFS 對比：http://blog.csdn.net/wishfly/article/details/6940504

http://www.sunnyu.com/?p=105

http://bbs.chinaunix.net/thread-2001101-1-1.html

1.2.8     swiftfs

https://github.com/ovh/svfs

https://wiki.openstack.org/wiki/Swift

https://support.rackspace.com/how-to/swift-filesystem-for-hadoop/

1.2.9     綜合

 如今主流的開源分佈式文件系統架構有哪些？

https://www.zhihu.com/question/19832447

 如何選擇分佈式文件系統？

https://segmentfault.com/q/1010000000449947

 各類分佈式文件系統

http://os.51cto.com/art/201007/212689_all.htm

索引樹：http://bbs.chinaunix.net/tree/index_304_1/

當下流行的分佈式文件系統大閱兵

http://os.51cto.com/art/201007/212689_all.htm