阿里雲本地存儲網關的一些特色和注意事項

阿里雲的官方文檔：https://help.aliyun.com/product/53923.html?spm=a2c4g.11186623.6.540.164a3843m7kJx4

vcenter6
192.168.0.87
administrator@vphere.local
密碼
root
密碼
esxi6
192.168.0.88
root
密碼

本地存儲網關
https://192.168.0.90
激活線下網關須要阿里雲控制檯ak帳戶開通如下2個權限：AliyunHCSSGWFullAccess 和 AliyunOSSFullAccess。
控制檯的缺省用戶名是root，缺省密碼爲Alibaba#sgw#1030。

一、本地存儲網關須要的部署的環境爲vcenter6以上，5.0.5.5是沒法使用的；

二、本地存儲網關須要至少4c8g的虛擬機。

三、緩存至少須要40G，原則上一個OSS對應一個緩存。因此若是你想一臺服務器對應多個OSS，能夠給虛擬機加多個緩存硬盤，每一個緩存硬盤須要大於40G

四、存儲網關當前支持的網絡傳輸協議有NFS和SMB兩種，NFS和SMB都是基於文件系統訪問的運行在internet網絡的協議。

• NFS協議主要用於Unix操做系統平臺，例如AIX、HP-UX及各類Linux的訪問。

• SMB協議主要用於windows系統平臺的文件系統訪問。

五、

六、虛擬機配置要求

您必須確保在其上部署網關VM的基礎硬件知足如下要求：

• 分配給VM的4個虛擬處理器。

• 分配給VM的8GB及以上內存。

• 100GB及以上磁盤空間，適用於安裝虛擬機鏡像和系統數據。

• 建議採用厚配置部署緩存盤得到更好的IO性能，單個緩存盤大小爲40GB及以上。

七、vcenter6，VMware 使用OVA導入方式安裝雲存儲網關，安裝步驟見：https://help.aliyun.com/knowledge_detail/54123.html?spm=a2c4g.11186623.2.14.164a3843m7kJx4

八、全部的控制檯（使用https://ip進行訪問本地存儲網關的控制檯），操做系統的默認密碼都是：缺省用戶名是root，缺省密碼爲Alibaba#sgw#1030

九、時間同步很是重要！！！虛擬機和vcenter的物理母機進行時間同步（在虛擬機配置裏勾選同步），再設置esxi的物理母機和阿里雲的ntp進行同步！！！

十、激活線下網關須要阿里雲控制檯ak帳戶開通如下2個權限：AliyunHCSSGWFullAccess 和 AliyunOSSFullAccess

十一、部署好網關後須要先在部署平臺（VMWare vSphere, Hyper-V）端添加磁盤，磁盤添加成功後，才能在網關的阿里雲控制檯或者網關控制檯管理界面進行緩存相關的操做；

注：文件網關支持的緩存盤容量最小40G，若是添加的磁盤容量小於40G則在網關上沒法識別到新加的磁盤；

十二、若是你的緩存是40G，那麼其中20%8G是存儲元數據（也就是文件的索引信息，文件大小信息等等，並非真實文件），剩餘80%32G纔是你真正存放文件的空間，其中20%的空間裏元數據是永遠都不會刪除的，除非你主動去刪除它；

剩餘的80%的工做機制是這樣，當用戶存放文件到這個80%了，那麼網關會當即同步到阿里雲去（這個時間，我測試了下大概是1分鐘以內，雖然能夠設置0-120秒），若是這個80%的緩存滿了，那麼系統會自動刪除不是熱點的文件，並讓用戶能夠放新的文件，固然刪除文件必須是已經上傳到阿里雲的oss桶裏的，若是這些文件都沒有存放到阿里雲去，那麼緩存就會爆滿，結果就是用戶沒法在存放新的文件到緩存裏去。

1三、反向同步：將OSS上的元數據同步回本地。適用網關容災和數據恢復/共享場景。（通常咱們不用這個模式）

1四、忽略刪除：文件刪除操做不一樣步至OSS防止誤操做。保證OSS側是全量數據。

1五、同步延遲：頻繁打開正在上傳的大文件容易形成OSS碎片。設置延遲後，對於文件不會在關閉後馬上上傳，會延遲一段時間，防止頻繁的本地修改操做。缺省值爲0s，最大值120s。

1六、用戶端可使用\\ip\共享文件夾名來訪問本地存儲網關，也能夠設置爲本地映射網絡磁盤

1七、服務須要的端口號清單：

1八、若是會使用文件網關寫入比較大的文件，單一文件大小應保持在緩存盤容量的30%如下，且不能多個大文件併發寫入，不然容易形成緩存盤寫滿的狀況。

1九、100G的空間大概能hold住3億文件的元數據。好比說你緩存上了300G，那麼元數據只有20%，那麼就是60G，那麼只能存放1.8億的元數據文件。

20、目錄結構好的話，1s大概能同步1000個文件。

2一、反向同步惟一的擔憂就是，反向在掃描的時候，有可能會影響前端的IO。若是是在前端不忙的時候規劃着作，應該也還好。

2二、咱們會寫到60%左右的時候，開始回收空間，咱們的回收是會清理掉一部分本地文件的數據部分（基本上就是LRU的這種算法），全部的元數據都保留在本地的。因此用戶根本感知不到。數據部分用戶讀取的話，咱們發現本地沒有，還會去oss再拉到本地緩存盤。實時經過網絡，加載過來。那就是若是打開已經刪除數據的文件，打開的速度取決於網絡速度了。因此對網絡仍是有要求的，若是網絡不是很好，本地盤就要儘可能大一點，多緩存一部分數據

2三、公司這邊一天是100G的文件，大概有100萬個文件。若是你只有1.8億的元數據文件，那麼只能存放180天就爆滿！

2四、反向同步會從雲上OSS Bucket同步元數據到本地的緩存盤，以保證雲上和本地緩存的一致性。當使用反向同步時，性能會有必定的損耗。注意是元數據，並非數據，也就是隻是同步索引過來。

2五、反向同步咱們須要拿兩級，拿當前文件夾以及子文件夾，由於當前文件夾的子文件夾的mtime咱們要改掉 要否則上面協議頭或者操做系統不會清理緩存。首先找到文件夾以及下面全部的文件，同時咱們支持用戶作一些權限控制的，好比在linux修改用戶權限，這部分咱們會在object的元數據裏面記下來。head request就是去看object裏面有沒有咱們自定義元數據，有的話再同步到本地。若是您這邊不關心用戶權限，只是文件上傳下載，這部分是能夠去掉的。

2六、反向同步邏輯是 咱們會記一下文件夾的同步時間 當此次的訪問時間和上次的同步時間超過10小時（你定義的反向同步時間） 就會觸發反向同步，若是文件夾一直不訪問 就一直不會同步。咱們是stat文件夾的時候 和 進文件夾的時候(超過反向的時間間隔) 咱們會觸發反向同步

2七、若是你把緩存盤從100G擴容爲600G，擴盤以後可能機器要重啓一下 才能認出來盤。要從新建共享的。要刪除掉從新建立的。不然仍然認爲是100G。

2八、這個緩存刷新時間和網絡有關係，而後是否是不少要刪除的也有關係。線上的話咱們一秒處理大概能到2000，線下的話就只有500左右。若是你有2000w個文件。那麼須要12小時左右才能刷新完成。