20+公司在使用
規模最大的一家:集羣中的存儲group數有45個,存儲服務器90臺,存儲容量達到900TB,文件數達到4000萬個。Group持續增加中。預計下週上線20個Group,到時總容量能夠達到1200TB
html
FastDFS比MogileFS更高效。表如今以下幾個方面:
1)參見上面的第2點,FastDFS和MogileFS相比,沒有文件索引數據庫,FastDFS總體性能更高;
2)從採用的開發語言上看,FastDFS比MogileFS更底層、更高效。FastDFS用C語言編寫,代碼量不到2萬行,沒有依賴其餘開源軟件或程序包,安裝和部署特別簡潔;而MogileFS用perl編寫;
3)FastDFS直接使用socket通訊方式,相對於MogileFS的HTTP方式,效率更高。而且FastDFS使用sendfile傳輸文件,採用了內存零拷貝,系統開銷更小,文件傳輸效率更高。
5. FastDFS有着詳細的設計和使用文檔,而MogileFS的文檔相對比較缺少。
6. FastDFS的日誌記錄很是詳細,系統運行時發生的任何錯誤信息都會記錄到日誌文件中,當出現問題時方便管理員定位錯誤所在。
7. FastDFS還對文件附加屬性(即meta data,如文件大小、圖片寬度、高度等)進行存取,應用不須要使用數據庫來存儲這些信息。
8. FastDFS從V1.14開始支持相同文件內容只保存一份,這樣能夠節省存儲空間,提升文件訪問性能。 9.由網絡的測試結果(http://hi.baidu.com/leolance/blog/item/8e818815b1522e6fca80c4ae.html)來看。MooseFS的性能效果不理想。I/O的讀寫速度比較慢。 所以,綜上所說,我我的認爲,選擇FastDFS更加簡潔高效。
git
(0)github
225*225~ 50萬個文件夾。若是一個文件夾存放 600個文件,那麼,就能夠存放 3000萬張圖片;能夠知足小型docker
(1) 數據庫
docker network create --subnet=172.18.0.0/24 fastdfs-net
docker run -d --tracker --network fastdfs-net --ip 172.18.0.3 。。。。
服務器
來固定IP。網絡
通過實驗,雖然動態IP,但依然能夠正常使用。socket
(2)性能
性能測試報告 :測試
https://www.jianshu.com/p/dd08821a2068
原理解釋:
參數配置:
https://github.com/dushitaoyuan/little-file/blob/master/fastdfs/fastdfs.md
storage_ids.conf
https://blog.csdn.net/weixin_30376509/article/details/96716885
數據遷移: