對象存儲COS成本優化方案

隨着上雲企業愈來愈多，企業對用雲成本問題也愈加重視。業務的發展會產生海量存儲需求，在雲端存儲數據時，如何進行成本優化，減輕業務負擔呢？

在進行成本優化以前，首先須要瞭解騰訊雲對象存儲COS的成本構成。對象存儲的計費項主要包括存儲費用、流量費用、請求費用、數據取回費用和管理費用等五大項；對於大部分客戶來講，存儲費用和流量費用是其雲存儲成本的主要組成部分。

• 在存儲費用方面，COS提供了標準存儲、低頻存儲、智能分層存儲、歸檔存儲、深度歸檔存儲等不一樣的存儲類型，各個存儲類型的產品規格和價格均存在差別，客戶能夠根據本身的業務模式選擇性價比最匹配的存儲類型。
• 在流量費用方面，存在外網下行流量、CDN回源流量、跨地域複製流量和全球加速流量等流量類型，業務模式的差別會致使用戶流量費用的構成存在差別。好比，某客戶的業務主要以電商網站爲主，存在大規模圖片分發，這類業務的CDN回源流量較多，所以消耗的流量費用主要以流量費用爲主。

下面咱們將從5個方面介紹COS成本優化方案：

1. 選擇合適的存儲類型
2. 按期經過清單和訪問日誌功能分析數據訪問模式
3. 經過生命週期和批量處理沉降數據
4. 經過文件壓縮減小存儲容量
5. 進行成本回顧

1、選擇合適的存儲類型

根據業務模式選擇合適的存儲類型可以較大幅度地優化業務的存儲成本。COS提供了豐富多樣的存儲類型，客戶能夠根據對性能、數據持久性、業務可用性的要求，選擇不一樣的存儲類型。標準存儲的存儲費用相對較高，但提供了最少的讀取延遲；低頻、歸檔、深度歸檔這三種存儲類型的存儲費用較低，可是在下載數據的時候，會額外消耗數據取回費用，而且須要消耗較久的取回時間，所以更適合於少許讀取的數據存儲。下表展現了使用不一樣存儲類型存儲一個月數據對應的存儲成本，以在廣州園區存儲100TB業務數據爲例：

從表中能夠看到，若是業務數據下載量較低，則選擇歸檔存儲甚至深度歸檔能有效下降存儲成本，最冷的深度歸檔存儲相較標準存儲可節省90%存儲費用；但若是業務數據須要頻繁下載，則低頻、歸檔、深度歸檔存儲的取回費用會帶來額外的成本開銷，致使總體費用反而更高。

具體到業務場景中，咱們推薦：

1. 頻繁讀寫場景：好比UGC場景、電商圖片等讀多寫少的業務，可以使用標準存儲類型。若是業務對可用性和數據持久性有高要求，則能夠考慮使用多可用區標準存儲。
2. 少許讀場景（一個月讀一次）：好比日誌數據分析、網盤數據等業務，讀取頻率較低，但讀取時對性能要求高，可以使用低頻存儲類型。對可用性和數據持久性有高要求的業務可使用多可用區低頻存儲。
3. 極少許讀場景（三個月讀一次）：好比視頻監控、日誌數據歸檔等業務，讀取頻率極低，對讀取性能要求較低，可以使用歸檔存儲類型。
4. 基本不讀取場景（半年讀一次）：好比醫療影像、檔案資料等業務，平常僅作長期備份用，對讀取性能幾乎無要求，可以使用深度歸檔存儲類型。

此外，在使用不一樣存儲類型時，咱們建議客戶注意最小存儲時長和最小存儲單元的限制，同時關注不一樣存儲類型的性能表現。下表提供了一個簡單的對比。

最小存儲時長：數據存儲在對應存儲類型時，須要存儲的最短期，不滿最短期按照最短期算。好比低頻存儲最少存儲 30天，若是一個低頻數據只存儲了1天就刪除，也會按照 30天計算費用。 _最小存儲單元：數據存儲在對應存儲類型時，須要存儲的最小文件容量，不滿最小文件容量按照最小文件容量算。好比低頻存儲最少存儲 64KB，若是一個低頻文件只存儲了 1KB，也會按照 64KB計算費用。_

2、按期經過清單和訪問日誌功能分析數據訪問模式

分析數據的訪問模式可以爲選擇合理的存儲類型提供數據支撐。COS提供了清單能力和訪問日誌功能，分別用於記錄存儲的文件元數據信息和文件訪問記錄，並將這些信息轉存到用戶的存儲桶中。

有關清單功能的詳細介紹，能夠參考文檔 配置清單功能 ；

有關訪問日誌管理功能的詳細介紹，能夠參考文檔配置訪問日誌管理。

對象存儲提供了COS Select能力檢索文件中的內容，若是您生成的清單文件或者日誌記錄過多，您也能夠購買彈性Map Reduce集羣，搭建Presto集羣進行數據分析。

有關COS Select的能力介紹，能夠參考文檔 使用對象檢索 ；

有關EMR進行分析的介紹，能夠參考文檔使用Presto分析COS上的數據。

以檢索分析清單文件中的數據爲例，當清單報告投遞到指定存儲桶後，您能夠進入控制檯對指定的清單報告進行分析：

一、進入文件列表，找到對應的清單報告，點擊最右側檢索；

二、進入文件檢索頁面，配置好相應入參；

三、輸入檢索語句，在檢索結果卡片頁查看檢索結果；

注意：控制檯只支持檢索128MB如下文件，若是清單報告的容量過大，或者報告數量過多，能夠選擇工具、SDK或者API的方式調用。

如下是幾種常見的檢索清單報告的檢索語句：

注意：清單報告中不包含表頭信息，所以只能輸入對應字段的序列號進行檢索，清單報告的表頭和序列號對應信息以下：

3、經過生命週期和批量處理沉降數據

業務發展過程當中，數據的訪問模式一直在動態變化，對於大部分數據而言，其訪問熱度通常隨着存儲時間的增加而下降。所以，企業須要根據業務數據訪問模式的變化，調整數據存儲類型以便業務成本處於最佳狀態。

COS提供了生命週期能力幫助企業按期地轉換存儲類型，企業能夠經過清單和訪問日誌分析業務數據的訪問模式，根據業務訪問模式制定合理的生命週期轉換規則。

以某經營社區平臺的客戶爲例，使用COS存儲用戶上傳的圖片數據。通常而言，圖片數據在剛上傳後的一段時間裏會被頻繁訪問，通過一段時間傳播後，大部分數據會逐漸」變冷「，訪問頻次逐漸減小。假設這一客戶大部分圖片數據在通過90天后數據訪問頻次已經低於1次/月，在365天后基本無人訪問，咱們能夠對比設置生命週期和不設置生命週期時的成本狀況：

能夠看到，使用生命週期規則管理存儲桶中的對象可以較大幅度地下降數據存儲費用。對於長期存儲的數據，合理配置生命週期規則能幫助業務下降50%以上存儲成本。

除了管理業務數據存儲類型外，生命週期能力還能夠用來管理存儲桶中的文件碎片和歷史版本文件。文件碎片是業務在上傳大文件過程當中，由於網絡中斷等意外狀況中斷傳輸產生的文件分塊信息，若是業務中存在大量文件碎片，能夠經過生命週期規則對文件碎片進行過時刪除。歷史版本文件則是開啓版本控制功能後產生的舊文件信息，歷史版本文件能夠用於數據誤刪後的恢復和回滾，但會佔用存儲空間，業務一樣能夠設置一個過時刪除時間，將沒有用的歷史版本文件清理掉，以在數據安全和成本之間進行平衡。

以下圖，只須要在配置時，選擇開啓【管理歷史版本文件】，或者選擇【刪除碎片】，便可按需進行配置。

對於個別業務，僅只須要一次性將大批量文件轉爲更冷的存儲類型，而且沒有固定的規則（好比指定的前綴或者標籤），則用戶可使用COSBatch批量處理能力，使用批量拷貝功能將數據修改成其餘存儲類型或者添加對象標籤以便設置生命週期規則刪除。操做步驟以下：

一、導出待處理文件列表，整合成csv格式文件；

二、建立COSBatch批量處理任務，導入文件列表；

三、執行批量處理任務，等候任務完成便可。

詳細的操做步驟能夠參考COSBatch批量處理操做指南，進一步瞭解操做詳情。

4、經過文件壓縮減小存儲容量

對於圖片類數據，對象存儲也提供了數據壓縮能力幫助用戶壓縮圖片大小，減小存儲成本。目前提供了壓縮能力以下：

1. Gueztli壓縮。Gueztli壓縮是一種視覺無損壓縮，利用人眼對於部分色域及圖片細節的不敏感性，在不影響視覺效果的前提下有選擇地丟棄細節信息，使得在相同質量條件下比原圖節省約35% - 50%的圖片大小。
2. TPG壓縮。TPG 是騰訊推出的自研圖片格式，可將 JPG、PNG、GIF、WEBP 等格式圖片轉換爲 TPG 格式，大幅減少圖片大小，壓縮比可達到35%以上。
3. HEIF壓縮。針對 iOS 環境的圖片使用場景，可將 JPG、PNG、GIF、WEBP 等格式圖片轉換爲 HEIF 格式，HEIF 格式有着超高壓縮率，壓縮比通常在45%以上。

以某客戶圖片存儲業務爲例，下表對比了100TB圖片存儲採用不一樣壓縮方式後的成本支出狀況：

從表中能夠看到，使用圖片壓縮能力進行壓縮後，儘管會付出必定壓縮成本，但存儲成本大幅度下降，實際總支出也下降了。此外，業務後續使用中會產生大量的流量，經過壓縮也能極大地節約流量成本。

5、進行成本回顧

成本優化須要貫穿業務的全流程，而不只僅只在業務上雲時進行成本規劃，客戶須要不定時進行成本回顧，按照業務需求合理規劃業務的雲存儲架構，有利於下降存儲成本。除此以外，客戶能夠進入騰訊雲計費平臺，下載騰訊雲計費帳單瞭解雲存儲用量明細帳單，分析雲存儲消耗狀況並針對性優化。

客戶還能夠關注「騰訊雲存儲」公衆號或者進入對象存儲控制檯概覽頁，瞭解對象存儲新品發佈狀況，關注對您成本優化有關的資訊。

騰訊雲對象存儲一直關注客戶存儲數據的性能和安全需求，致力於爲客戶提供更低成本的存儲服務，幫忙用戶降本增效。在將來，COS會持續探索並推出更多的存儲產品和服務，挖掘場景化解決方案，爲客戶提供業界內性價比最高的存儲服務。