最近被安排開發文件存儲微服務,要求是可以經過配置來無縫切換咱們公司內部研發的文件存儲系統,FastDFS,MongDb GridFS,阿里雲OSS,騰訊雲OSS等。根據任務緊急度暫時先完成了經過配置來無縫切換內部文件系統以及FastDFS。至於MongDb GridFS,阿里雲OSS,騰訊雲OSS等則後期須要的話再開發對應的提供者程序集合。html
做者:依樂祝
首發公衆號:DotNetCore實戰
原文連接: http://www.javashuo.com/article/p-oubwflag-cm.htmllinux
今天主要是對開發過程,以及對FastDFS這個通用的分佈式文件存儲服務的單機及集羣安裝部署過程作個總結。但願對想要自建分佈式文件系統的朋友有所幫助。nginx
這裏先簡單介紹下分佈式文件存儲系統。
FastDFS 是一個開源的高性能分佈式文件系統(DFS)。 它的主要功能包括:文件存儲,文件同步和文件訪問,以及高容量和負載平衡。主要解決了海量數據存儲問題,特別適合以中小文件(建議範圍:4KB < file_size <500MB)爲載體的在線服務。
FastDFS 系統有三個角色:跟蹤服務器(Tracker Server)、存儲服務器(Storage Server)和客戶端(Client)。
Tracker Server:跟蹤服務器,主要作調度工做,起到均衡的做用;負責管理全部的 storage server和 group,每一個 storage 在啓動後會鏈接 Tracker,告知本身所屬 group 等信息,並保持週期性心跳。
Storage Server:存儲服務器,主要提供容量和備份服務;以 group 爲單位,每一個 group 內能夠有多臺 storage server,數據互爲備份。
Client:客戶端,上傳下載數據的服務器,也就是咱們本身的項目所部署在的服務器。
c++
FastDFS開源地址:https://github.com/happyfish100git
這裏先簡單介紹下單機版的安裝,跟着作你也能夠從0仍是搭建一個單機版的FastDFS。集羣版也是在單機版基礎上安裝的。github
若是已經安裝和wget能夠跳過這一步shell
yum -y install vim wget unzip
-y:不通過詢問直接贊成全部操做
vim:linux上面一個比較好用的文本編輯軟件
wget:linux上文件下載工具vim
yum install -y gcc-c++ perl
你們能夠直接到github上面先找到ibfastcommon。這裏爲了你們方便查找。我已經把把連接給你們整理好了
libfastcommon
這裏你們能夠先下載到本地,而後再傳至服務器上面。這裏我使用的是FinalShell。具體操做就不在這裏詳細說了。
這裏目錄爲:/root/fastdfs/
下載下來的是zip格式壓縮包,而後,咱們解壓zip數組
unzip libfastcommon-master.zip
進入到剛剛解壓的文件裏面服務器
cd libfastcommon-master/
進行編譯安裝
./make.sh && ./make.sh install
``shell
./make.sh && ./make.sh install
#### 第五步 修改配置文件 切換到配置文件目錄下 ```shell cd /etc/fdfs/
查看全部配置文件
使用ls命令就好了
去除全部的.sample後綴
cp client.conf.sample client.conf cp storage.conf.sample storage.conf cp storage_ids.conf.sample storage_ids.conf cp tracker.conf.sample tracker.conf
咱們再次使用ls命令查看
能夠看到咱們已經去除了全部的.sample後綴
下一步,建立文件夾,分別建立client,storage,tracker文件夾
mkdir -p /home/software/fastfdfs/data/client mkdir -p /home/software/fastfdfs/data/storage mkdir -p /home/software/fastfdfs/data/tracker
下面咱們開始配置文件修改,首先修改的是clietn.conf,使用vim編輯器進行文件的編輯
vim client.conf
使用 :set number 顯示行數
修改第11行,肯定日誌文件的存儲路徑,這裏用咱們剛剛建立client文件夾路徑
base_path = /home/software/fastdfs/data/client
修改第22 行,tracker的地址與端口,根據實際狀況進行修改,個人是192.168.1.14。
這裏貌似有兩個tracker_server,畢竟是單機版部署所以我這裏註釋了一個
tracker_server = 192.168.1.14:22122
修改號以後記得保存修改!
下面咱們修改storage.conf。同上是用vim進行修改
首先咱們修改下11行的分組設置
group_name = group1
接下來修改49行的基礎路徑,這裏也用上面咱們已經建立的路徑
base_path = /home/software/fastdfs/data/storage
修改第129行的storage路徑。
store_path0 = /home/software/fastdfs/data/storage
注意:這裏提示下:存儲路徑的順序很重要,不要弄亂了,
基礎路徑應該獨立於存儲路徑,即儘可能讓這兩個路徑不同。這裏我設置了同樣
修改第145行 ,配置tracker的IP地址與端口。至於如何填寫這個地址,上面配置client.conf的時候,咱們就已經說過了。
tracker_server = 192.168.1.14:22122
如今修改tracker.conf文件
修改第23行,修改tracker的基礎路徑。這個路徑的文件夾咱們剛剛在上面已經建立過了
base_path = /home/software/fastdfs/data/tracker
修改第57行 歸屬組設置
store_group = group1
啓動tracker
fdfs_trackerd /etc/fdfs/tracker.conf start
啓動storage
fdfs_storaged /etc/fdfs/storage.conf start
測試是否啓動成功,咱們嘗試上傳文件。個人root文件夾下有一張圖片
fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg
如上圖所示表示上傳成功。
這裏因爲服務器已經安裝了nginx,所以須要在現有的nginx的版本基礎上安裝新的fastdfs的模塊。,安裝方法可能略有不一樣
首先查看下nginx的版本
nginx -V
這裏須要注意一下,若是你服務器上沒有安裝過nginx則須要先安裝nginx的依賴,而後再進行安裝
yum -y install gcc-c++ zlib-devel pcre-devel
以下圖所示:
所以咱們須要下載對應版本的源碼
wget http://nginx.org/download/nginx-1.16.1.tar.gz
解壓安裝包
tar zxvf nginx-1.14.0.tar.gz
下載nginx的fastdfs模塊,這裏我已經幫你們把這個項目github地址整理好了。
astdfs-nginx-module
這這裏咱們能夠先下載到本身電腦上,再上傳服務器。
進行解壓
unzip fastdfs-nginx-module-master.zip
這裏因爲咱們已經安裝了nginx,所以須要備份以前的nginx防止出現問題進行還原
mv /usr/sbin/nginx /usr/sbin/nginx.back cp -rf /etc/nginx/ /etc/nginx.back
切換到nginx壓縮包的解壓目錄裏面去
cd nginx-1.16.1
進行配置檢測而且添加模塊
./configure --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --add-module=/root/fastdfs/fastdfs-nginx-module-master/src/
--prefix : nginx的安裝目錄
--add-module:解壓後模塊所在目錄,記得要加上src
執行以下命令進行nginx的從新編譯,若是以前已經安裝了nginx則不能執行install,不然會覆蓋以前的配置文件,也能夠在安裝後再把以前的配置覆蓋過來。
make && make install
拷貝編譯後的nginx到原來的安裝目錄
cp objs/nginx /usr/sbin/nginx
重啓nginx
systemctl restart nginx //第二種方式 nginx -s reload //第一次安裝,直接輸入nginx nginx
切換至fastdfs的解壓包裏面去
cd /root/fastfdfs/fastdfs-master
進行文件的複製
cp conf/http.conf /etc/fdfs/ cp conf/mime.types /etc/fdfs/
切換至fastdfs-nginx-module的解壓目錄下面
cd /root/fastdfs/fastdfs-nginx-module-master
進行配置文件的複製
cp src/mod_fastdfs.conf /etc/fdfs/
修改/etc/fdfs下面的mod_fastdfs.conf配置文件
vim /etc/fdfs/mod_fastdfs.conf
修改 40行,更改tracker的ip地址與端口
tracker_server=192.168.1.14:22122
修改48行的group_name
修改53行 url地址中是否包含組名,若是連接中包含group則須要設置爲true
url_have_group_name = true
修改62行 storage所在目錄
store_path0=/home/software/fastdfs/data/storage
保存修改。
這裏注意,每一個笨的配置文件存儲的方式不一樣,此步驟可能有所不一樣。
進行nginx配置文件的修改,咱們能夠切換到nginx的安裝目錄下面。也能夠直接輸入以下命令
注意:這裏個人nginx版本爲1.16.1,配置文件爲conf.d下面的全部的*.conf文件。所以個人輸入命令以下:
vim /etc/nginx/conf.d/default.conf
進行nginx.conf的修改,以下圖所示:
server { listen 8888; server_name 192.168.1.93; location ~/group([0-9])/M00 { #root html; #index index.html index.htm; root /home/software/fastdfs/data/storage/data; ngx_fastdfs_module; } }
多個group的配置
當配置多個組,且mod_fastdfs.conf 裏面指定了url_have_group_name= true 時,配置方式:
location ~ /group([0-9]) /M00 { root /home/software/fastdfs/data/storage/data; ngx_fastdfs_module; }
好比:在group1上的 nginx 的nginx.conf 配置是
location /group1/M00 { root /home/software/fastdfs/data/storage/data; ngx_fastdfs_module; }
好比:在group2上的 nginx 的nginx.conf 配置是
location /group2/M00 { root /home/software/fastdfs/data/storage/data; ngx_fastdfs_module; }
查看nginx的配置文件是否有效
nginx -t
顯示 is ok沒有任何問題,如今啓動nginx。這裏我配置爲開機自動啓動
systemctl restart nginx // 第二種方式 nginx -s reload
依照上面的方式,咱們從新上傳一張圖片。並進行訪問
測試是否啓動成功,咱們嘗試上傳文件。個人root文件夾下有一張圖片
fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg
上傳成功,訪問下面的地址
group1:表示這張圖片被保存在了哪一個組當中,
M00:表明磁盤目錄,若是電腦只有一個磁盤那就只有M00, 若是有多個磁盤,那就M0一、M02...等等。
00/00:表明磁盤上的兩級目錄,每級目錄下是從00到FF共256個文件夾,兩級就是256*256個。
wKgBE1r-fICAcd3kAAHY-4ojheI481.jpeg表示被存儲到storage上的test.jpeg被重命名的名字,這樣作的目的是爲了防止圖片名字重複。
咱們到單機版的數據目錄下查看一下是否有咱們剛纔上傳的圖片,發現是有的返回的圖片信息中明確說明了存儲在了group1下面。
這裏集羣版的安裝是在單機版的基礎上安裝的。
IP | 做用 | 模塊 |
---|---|---|
192.168.1.14 | storage(group1) tracker1 | fastdfs+nginx+fastdfs-nginx-module |
192.168.1.15 | storage(group1) | fastdfs+nginx+fastdfs-nginx-module |
192.168.1.16 | storage(group2) tracker2 | fastdfs+nginx+fastdfs-nginx-module |
192.168.1.93 | storage(group2) | fastdfs+nginx+fastdfs-nginx-module |
192.168.1.197 | VIP(對外提供服務) | nginx |
在全部服務器上建立以下目錄用來存儲須要安裝的軟件包
mkdir -p ~/fastdfs/
在tracker1上下載所須要的軟件安裝包,並放在以下目錄下
~/fastdfs/
查看以下所示:
進入對應的文件夾並拷貝對應的文件到其餘幾臺服務器上:
scp ./* root@192.168.1.15:~/fastdfs/ scp ./* root@192.168.1.16:~/fastdfs/ scp ./* root@192.168.1.93:~/fastdfs/ scp ./* root@192.168.1.197:~/fastdfs/
在storage服務器及tracker服務器都建立以下的文件夾,用來存放fastdfs的數據及日誌文件
mkdir -p /home/software/fastfdfs/client mkdir -p /home/software/fastfdfs/storage mkdir -p /home/software/fastfdfs/tracker
在全部服務器上執行·以下命令安裝相關工具
yum -y install vim wget unzip
在全部sotrage及tracker服務器上執行以下命令安裝相關依賴
yum install -y gcc-c++ perl
這些操做須要在全部storage及tracker服務器上都進行操做
在須要安裝fastdfs的storage及tracker服務器上安裝libfastcommon
這裏咱們進入安裝文件目錄~/fastdfs/,執行以下命令,解壓並編譯安裝:
unzip libfastcommon-master.zip cd libfastcommon-master/ ./make.sh && ./make.sh install
出現以下圖所示則表示安裝成功
在須要安裝fastdfs的storage及tracker服務器上安裝fastdfs
這裏咱們進入安裝文件目錄~/fastdfs/,執行以下命令,解壓並編譯安裝:
unzip fastdfs-master.zip cd fastdfs-master/ ./make.sh && ./make.sh install cp conf/http.conf /etc/fdfs/ cp conf/mime.types /etc/fdfs/
進行文件的複製
cp conf/http.conf /etc/fdfs/ cp conf/mime.types /etc/fdfs/
切換到配置文件目錄,並執行以下命令去除全部的.sample後綴:
cd /etc/fdfs/ cp client.conf.sample client.conf cp storage.conf.sample storage.conf cp storage_ids.conf.sample storage_ids.conf cp tracker.conf.sample tracker.conf
修改client.config配置
須要測試的時候才須要配置此client.conf配置
vim client.conf
修改內容以下:
11 base_path = /home/software/fastdfs/client 22 tracker_server = 192.168.1.14:22122
vim修改storage.conf
修改內容以下:
11 group_name = group1 49 base_path = /home/software/fastdfs/storage 129 /home/software/fastdfs/data/storage 145 tracker_server = 192.168.1.14:22122
vim修改tracker.conf配置
這裏只有tracker服務器才須要配置此配置及 14跟16
修改內容以下:
23 base_path = /home/software/fastdfs/tracker 57 store_group = group1
只有sotrage服務器及vip服務器須要安裝nginx用來提供文件的訪問
在安裝nginx前須要安裝相關的依賴並下載對應的源碼,執行以下命令。此文件也保存到文件安裝目錄
yum -y install gcc-c++ zlib-devel pcre-devel wget http://nginx.org/download/nginx-1.16.1.tar.gz tar zxvf nginx-1.14.0.tar.gz
解壓nginx的fastdfs模塊,並進入到文件夾下進行配置文件的複製
nginx的fastdfs模塊在全部storage服務器上進行安裝
unzip fastdfs-nginx-module-master.zip cd ~/fastdfs/fastdfs-nginx-module-master cp src/mod_fastdfs.conf /etc/fdfs/
進入到nginx源碼目錄,進行配置檢測並添加對應的fastdfs模塊。而後進行nginx的安裝
./configure --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --add-module=/root/fastdfs/fastdfs-nginx-module-master/src/ make && make install #若有須要能夠拷貝nginx到sbin目錄 cp objs/nginx /usr/sbin/nginx
vim修改/etc/fdfs下面的mod_fastdfs.conf配置文件
40 tracker_server=192.168.1.14:22122 48 group_name=group1 53 url_have_group_name = true 62 store_path0=/home/software/fastdfs/storage
只有sotrage服務器及vip服務器須要安裝,
group1的服務器須要新增以下server配置,root路徑爲storage的data路徑
server { listen 8888; server_name 192.168.1.93; location /group1/M00 { #root html; #index index.html index.htm; root /home/software/fastdfs/storage/data; ngx_fastdfs_module; } }
group2的服務器上新增以下server配置,root路徑爲storage的data路徑
server { listen 8888; server_name 192.168.1.93; location /group2/M00 { #root html; #index index.html index.htm; root /home/software/fastdfs/storage/data; ngx_fastdfs_module; } }
vip服務器的nginx配置以下:
#設置 group1 的服務器 upstream fdfs_group1 { server 192.168.1.14:8888 weight=1 max_fails=2 fail_timeout=30s; server 192.168.1.15:8888 weight=1 max_fails=2 fail_timeout=30s; } #設置 group2 的服務器 upstream fdfs_group2 { server 192.168.1.16:8888 weight=1 max_fails=2 fail_timeout=30s; server 192.168.1.93:8888 weight=1 max_fails=2 fail_timeout=30s; } server { listen 80; server_name 192.168.1.197; #charset koi8-r; #access_log /var/log/nginx/host.access.log main; #設置默認路徑 location / { root html; index index.html index.htm; } #設置 group 的負載均衡參數 location /group1/M00 { proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_pass http://fdfs_group1; } location /group2/M00 { proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_pass http://fdfs_group2; } }
查看nginx的配置文件是否有效
nginx -t
顯示 is ok沒有任何問題,如今啓動nginx。這裏我配置爲開機自動啓動
# 服務形式的nginx重啓方式 systemctl restart nginx //第二種方式 nginx -s reload //第一次安裝,直接輸入nginx nginx
依照上面的方式,咱們從新上傳一張圖片。並進行訪問
測試是否啓動成功,咱們嘗試上傳文件。個人root文件夾下有一張圖片
fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg
上傳成功,訪問下面的地址
這裏的微服務是基於abp vnext的。只是在應用層進行相關的服務開發。這裏須要說明下,這裏我是使用工廠模式,根據配置來建立對應的文件操做提供者,進而對對應的文件服務器上的文件進行操做的。這裏我只摘錄FastDFS相關的代碼供你們參考。
這裏我用的是更新時間相對比較近下載量相對比較多的做者的nuget包,
Install-Package FastDFSNetCore -Version 1.2.5
具體的代碼以下所示:
/// <summary> /// 功能介紹:FastDFS提供者 /// 做者:lzhu /// 建立日期:2020/4/23 19:54:35 /// </summary> public class FastDFSProvider : IStorageProvider, ITransientDependency { /// <summary> /// 提供程序名稱 /// </summary> public string ProviderName => "FastDFS"; //配置 private readonly FastDFSConfig _fastDFSConfig; /// <summary> /// 構造函數 /// </summary> /// <param name="fastDFSConfig">注入配置數據</param> public FastDFSProvider(FastDFSConfig fastDFSConfig) { _fastDFSConfig = fastDFSConfig ?? throw new ArgumentNullException(nameof(fastDFSConfig)); string[] trackers = fastDFSConfig.Trackers.Split(',', StringSplitOptions.RemoveEmptyEntries); var trackerIPs = new List<IPEndPoint>(); foreach (var onetracker in trackers) { trackerIPs.Add(new IPEndPoint(IPAddress.Parse(onetracker), fastDFSConfig.Port)); } ConnectionManager.Initialize(trackerIPs); } /// <summary> /// 經過文件名刪除對應的文件 /// </summary> /// <param name="objectName">對象名稱</param> /// <param name="groupName">分組名稱</param> /// <returns>是否成功</returns> public async Task<bool> DeleteObjectByNameAsync(string objectName, string groupName = "") { RestoreFileName(objectName, out string fileName, out groupName); await FastDFSClient.RemoveFileAsync(groupName, fileName); return true; } /// <summary> /// 獲取網關鏈接 /// </summary> /// <returns>網關鏈接</returns> public Task<string> GetGateWayUrl() => Task.FromResult(_fastDFSConfig.GateWayUrl); /// <summary> /// 獲取對象二進制數組 /// </summary> /// <param name="groupName">組名稱</param> /// <param name="objectName">對象名稱</param> /// <returns>對象的二進制數組</returns> public async Task<byte[]> GetObjectByteAsync(string objectName, string groupName = "") { RestoreFileName(objectName, out string fileName, out groupName); var storageNode = await GetStorageNodeAsync(groupName); return await FastDFSClient.DownloadFileAsync(storageNode, fileName); } /// <summary> /// 獲取對象流 /// </summary> /// <param name="groupName">組名稱</param> /// <param name="objectName">對象名稱</param> /// <returns>對象流</returns> public async Task<Stream> GetObjectStreamAsync(string objectName, string groupName = "") { RestoreFileName(objectName, out string fileName, out groupName); var storageNode = await GetStorageNodeAsync(groupName); FDFSFileInfo fileInfo = await FastDFSClient.GetFileInfoAsync(storageNode, fileName); Stream stream = new MemoryStream(); int limit = 1024 * 100;//每次獲取100KB的數據 //若是文件大小大於100KB 分次寫入 if (fileInfo.FileSize >= limit) { long offset = 0; long len = limit; while (len > 0) { byte[] buffer = await FastDFSClient.DownloadFileAsync(storageNode, fileName, offset, len); stream.Write(buffer, 0, int.Parse(len.ToString())); stream.Flush(); offset += len; len = (fileInfo.FileSize - offset) >= limit ? limit : (fileInfo.FileSize - offset); } } else { //若是文件大小小小於100KB 直接寫入文件 byte[] buffer = await FastDFSClient.DownloadFileAsync(storageNode, fileName); stream.Write(buffer, 0, buffer.Length); stream.Flush(); } stream.Seek(0, SeekOrigin.Begin); return stream; } /// <summary> /// 存儲文件 /// </summary> /// <param name="objectByte">對象</param> /// <param name="objectName">對象名</param> /// <param name="groupName">分組</param> /// <returns></returns> public async Task<string> StoreObjectByteAsync(byte[] objectByte, string objectName, string groupName = "") { var storageNode = await GetStorageNodeAsync(""); var filePath = await FastDFSClient.UploadFileAsync(storageNode, objectByte, Path.GetExtension(objectName)); return storageNode.GroupName + "/" + filePath; } /// <summary> /// 存儲文件 /// </summary> /// <param name="objectStream">文件流</param> /// <param name="objectName">對象名</param> /// <param name="groupName">分組</param> /// <returns>文件路徑</returns> public async Task<string> StoreObjectStreamAsync(Stream objectStream, string objectName, string groupName = "") { var storageNode = await GetStorageNodeAsync(""); var filePath = await FastDFSClient.UploadFileAsync(storageNode, objectStream, Path.GetExtension(objectName)); return storageNode.GroupName + "/" + filePath; } }
這裏的分佈式配置中心中進行FastDFS的配置以下:
"ObjectStorage": { "StoreType": "FastDFS", "FastDFS": { "Trackers": "192.168.1.14,192.168.1.16", "Port": 22122, "GateWayUrl": "http://192.168.1.197" } }
工廠方法根據上面配置中的StoreType
從而知道對應的存儲是往FastDFS集羣進行存儲的,進而再加載對應的FastDFS的配置,而後建立上面的FastDFSProvider。
主要代碼摘錄以下:
case "RondsDFS": { var rondsDFSSection = _configuration.GetSection("ObjectStorage:RondsDFS"); if (rondsDFSSection == null) throw new ArgumentNullException("RondsDFS is not configured![OObjectStorage:RondsDFS]"); StorageProvider = _serviceProvider.GetRequiredService<RondsDFSProvider>(); break; }
今天首先給你們講解了如何搭建FastDFS單機版及集羣版,而後講解了如何經過asp.net core對FastDFS進行操做。固然因爲個人文件系統對應多個文件存儲程序,所以這裏只是把FastDFS做爲其中一個提供者進行處理。大夥能夠只參考其中的操做方法便可。原本想錄個視頻的,畢竟安裝過程稍顯複雜,奈何機器不容許,Pass了!有問題能夠加QQ兩千人羣637326624進行交流。
https://zhuanlan.zhihu.com/p/80256918
https://blog.51cto.com/13712476/2130525
http://www.javashuo.com/article/p-wdxjxnih-br.html
https://github.com/happyfish100/fastdfs/wiki