AWS 存儲服務（三）

AWS S3

業務場景

挑戰

• Web服務器傳輸大型文件可能引發網絡延遲
• 用戶生成的內容須要分配到全部的web服務器中

解決方案

• 靜態資產存放在S3中
• S3中的對象設置爲公開，用戶能夠直接訪問

S3的好處

• 經過API或者HTTP進行訪問
• S3是以冗餘方式將對象存儲，至少在三個可用區存放副本
• S3使用校驗和來驗證數據的完整性
• 提供完善的版本控制使用戶可以保存、檢索和還原每一個對象的各個版本
• 多副本的數據一致性

S3 屬性

存儲桶 Buckets

• 存儲S3的容器
• Bucket 名 最多包含63個字符，且在全球AWS都必須是惟一的
• 最佳實踐是包含並符合DNS域名規範來對Bucket命名
• 在靠近用戶的區域建立Bucket以優化性能
• 每用戶最多可建立100個存儲桶
• 存儲桶須要指定區域，可是不能指定可用區

對象 Object

• 每個存儲在S3的實體或文件都是對象
• 最大支持單個對象5TB
• 對象由文件自己和元數據組成
• 文件自己在S3看來只是一串字節流
• 元數據包含了對象的名稱和鍵值，系統元數據包括了MD5，上次修改日期等系統信息，用戶元數據是用戶的可選項

• 獲取對象使用的Request包頭

  • x-amz-meta-
  • x-amz-storage-class
  • Content-MD5
  • Content-Length

• 數據結構

  • 鍵（Key）：能夠認爲是數據的名字
  • 值（Value）：表示數據自己
  • 版本號（Version ID）：對於啓用了版本控制的存儲桶來講很重要
  • 元數據（Metadata）：關於數據的描述，好比說數據的建立時間，更改時間，文件類型，文件大小等信息
  • 訪問控制信息：能管理對Bucket內文件的訪問權限

• Key

  • 每一個對象的標識，在存儲桶內惟一
  • 最大支持1024字節的UTF-8字符，能夠包含斜槓等
  • 存儲桶名+Key 組成S3對象的惟一標識
  • 最佳命名實踐是利用/進行命名對對象進行邏輯組織，但記住這並不表明文件是被層次組織的，S3對象始終處於一個平面而不是一個真正的File System
  • S3對象能夠基於其惟一標識經過Internet直接尋址訪問，URL就是其惟一標識
• 對象標籤
  • 每一個對象添加最多10個標籤
  • 用標籤標記後能夠用於IAM策略管理

S3 特性

S3 操做

• 基於REST API接口進行操做，將HTTP動詞映射到CRUD操做
• 實際使用更高級的接口（如編程語言，SDK，CLI和控制檯）來調用REST API

可用性和持久性

• S3採用高度持久和可用的存儲基礎架構

  • 持久性 = 11個9
  • 可用性 = 4 個 9
• 建議採用版本控制、跨域區複製、MFA刪除等方式來防止用戶意外形成的邏輯錯誤

一致性

• S3會自動在區域內對數據進行自動複製
• S3是一個最終一致性系統，保證全部的獲取都是一致的
  • 爲新對象PUTS 提供 先寫後讀一致性
  • 爲 Overwrite PUTS和DELETE提供最終一致性

S3 訂價策略

• 存儲容量
• 讀取操做
• 數據傳輸

S3高級功能

存儲級別

• S3-Standard

  • 提供高耐用、高可用、低延遲和高性能的存儲對象

• S3-Standard-IA

  • 提供較低的高可用標準但仍然是多可用區部署的，但設計用於長期存取和訪問頻率較低的數據，
  • 利用規模效應對存儲超過30天以上的提供更低成本的選項，最小收費粒度128KB，最短使用30天。

• S3-ONEZONE-IA

  • 相似於Standard-IA，可是僅部署在一個可用區內提供高可用
  • 用於非關鍵性和易重現數據，用於替代RRS

• INTELLIGENT_TIERING

  • 自動分層的數據，相似於IA的持久性和可用性
  • 可以提供標準的讀寫性能但不是一致的，取決於讀寫請求頻率
  • 有額外的監控和自動分層的成本，最短使用30天，小於128K的對象沒有資格進行自動分層但仍收費。

• S3減小冗餘存儲 RRS

  • 適用於非關鍵數據或易於重現的派生數據，支持低延遲訪問，不支持高可用的（4個9持久性）
  • 目前已經再也不推薦，使用S3-ONEZONE-IA替代
• Glacier
  • 成本極低的歸檔數據存儲，不須要實時數據訪問

存儲類	設計專門針對	持久性（設計目標）	可用性（設計目標）	可用區	最小持續時間	最小可計費對象大小	其餘考慮因素	每GB費用
STANDARD	常常訪問的數據	99.999999999%	99.99%	>=3	無	無	無	0.022 USD
STANDARD_IA	長時間存在，不常常訪問的數據	99.999999999%	99.99%	>=3	30天	128KB	按每 GB 收取檢索費用。	0.0125 USD
INTELLIGENT_TIERING	訪問模式發生變化或未知的長時間存在的數據	99.999999999%	99.9%	>=3	30天	無	按對象收取監控和自動化費用。無檢索費用。
ONEZONE_IA	長時間存在的、不常常訪問的、非關鍵數據	99.999999999%	99.5%	1	30天	128KB	按每 GB 收取檢索費用。沒法靈活地應對可用區丟失的狀況。	0.01 USD
GLACIER	檢索時間從數分鐘到數小時不等的長期數據存檔	99.999999999%	99.99%(在您還原對象以後)	>=3	90天	無	按每 GB 收取檢索費用。您必須先還原存檔對象，而後才能夠訪問它們。	0.004 USD
DEEP_ARCHIVE	存檔不多訪問的數據，默認檢索時間爲 12 小時	99.999999999%	99.99%(在您還原對象以後)	>=3	180天	無	按每 GB 收取檢索費用。您必須先還原存檔對象，而後才能夠訪問它們。	0.00099 USD
RRS（不推薦）	常常訪問的非關鍵數據	99.99%	99.99%	>=3	無	無	無

對象生命週期管理

• 相似於自動存儲分層的解決方案

• S3能夠利用生命週期配置規則，將數據從一個存儲級別向另外一個存儲級別轉換，指導最終自動刪除

  • Transition ：轉換存儲類別
  • Expiration：指定對象過時時間
• 如： 最初在S3 Standard，30天后 S3 Standard IA， 90天后 Glacier， 3年後自動刪除

數據訪問

• 桶策略

  • 默認只有存儲桶和對象全部者才能訪問他們建立的S3資源
  • 利用IAM能夠修改和管理用戶訪問S3資源的權限
  • 存儲桶策略能夠對所有或部分S3對象的訪問進行受權管理

• S3 ACL

  • 使用S3 ACL能夠爲S3的對象提供其餘AWS對其的訪問權限管理

數據傳輸及其加速

• S3傳輸加速 （Amazon S3 Transfer Acceleration），能夠利用AWS CloudFront CDN網絡的邊緣節點（Edge Locations）加速傳輸的過程。能夠將數據上傳到離咱們最近的邊緣節點，而後再經過AWS內部網絡（更高速，更穩定）傳輸到目標區域的S3存儲桶。

  • 您位於全球各地的客戶須要上傳到集中式存儲桶
  • 您按期跨大洲傳輸數 GB 至數 TB 數據
  • 您在上傳到 Amazon S3 時未充分利用 Internet 上的可用帶寬
• 上傳須要指定專用的兩個S3雙堆棧加速節點
• S3支持客戶端加密和服務器端加密兩種方式傳輸數據
• 服務器端加密使用SSE AES-256 加密
• S3對經過互聯網傳入傳出流量收費，但對區域內部存儲桶之間或者AWS服務之間的傳輸不收費

版本管理

• S3容許每一個對象的多個版本保存在存儲桶中，在數據被意外或者惡意刪除時，能夠利用對象的惟一標識+版本ID進行恢復
• 版本控制是一個存儲桶級別的可選項，一旦打開只能暫停而不能關閉
• 開啓版本管理後，刪除一個對象實際是新增了一個刪除標記使得對象不可見，在版本控制中刪除這個刪除標記便可恢復對象
• 只有存儲桶全部者才能永久刪除版本，也能夠設置生命週期規則來進行版本管理

MFA刪除

• 支持須要額外驗證來永久刪除對象版本或者更改存儲桶版本控制狀態
• 僅能採用Root 用戶執行該操做，且通常採用額外的硬件生成驗證碼

預先簽名的網址

• 默認S3對象是私有的，可是能夠經過預先簽名受權其餘用戶採用安全憑證授予有時間限制的訪問
• 安全憑證必須制定存儲桶名稱、對象Key、HTTP方法和過時時間等

靜態網站託管

• S3能夠直接將Html對象做爲靜態網站的託管
• 不能作PHP、ASP.net、JSP等服務器端處理
• 能夠經過客戶端腳本完成動態和交互，如嵌入靜態HTML網頁的JavaScript
• 建立一個與網站同名的存儲桶，並指定一個索引和錯誤文檔，

• 須要單獨打開靜態託管功能，並指定index.html 和 error.html

  • 普通的S3 URL：https://s3.ap-northeast-2.amazonaws.com/abc-com/index.html
  • S3託管的靜態網站URL：http://abc-com.s3-website-ap-northeast-2.amazonaws.com

分段上傳 API

• 主要用於大型對象的上傳，100MB以上建議使用，5GB以上必須採用
• 被拆分以後的零件能夠以任意順序上傳，在所有傳輸完成後再進行組裝
• 能夠經過設置對象生命週期，在指定天數後終止不完整的分段上傳
• 好處
  • 提升吞吐量 – 您能夠並行上傳分段以提升吞吐量。
  • 從任何網絡問題中快速恢復 - 較小的分段大小能夠將因爲網絡錯誤而需重啓失敗的上傳所產生的影響降至最低。
  • 暫停和恢復對象上傳 – 您能夠在一段時間內逐步上傳對象分段。啓動分段上傳後，不存在過時期限；您必須顯式地完成或停止分段上傳。
  • 在您知道對象的最終大小前開始上傳 – 您能夠在建立對象時將其上傳。

Range GET

• 在S3或者Glacier 中僅下載對象的一部份內容，主要用於更高效的處理大型對象
• 最小能夠到1個字節的範圍

隨時查詢

• Amazon S3 容許客戶對存儲數據運行復雜的查詢，無需將數據移動到獨立的分析平臺。

• S3 Select

  • 利用簡單的 SQL 語句檢索對象內較小且具備針對性的數據集。
  • 您能夠將 S3 Select 與 AWS Lambda 搭配使用，來構建無服務器應用程序，此類應用程序可以使用 S3 Select 有效且輕鬆地檢索 Amazon S3 中的數據，而不是檢索和處理整個對象。

• Amazon Athena

  • Amazon Athena 是一項交互式查詢服務，讓您可以輕鬆使用標準 SQL 查詢分析 Amazon S3 中的數據。
  • Athena 是無服務器式服務，所以您無需設置或管理基礎設施便可立刻開始分析數據。您甚至無需將數據加載到 Athena 中，由於它能夠直接處理全部 S3 存儲類中存儲的數據。

• Amazon Redshift Spectrum

  • Amazon Redshift Spectrum 是 Amazon Redshift 的一項功能，藉助這項功能，您能夠對 Amazon S3 中的 EB 級的數據運行查詢，而無需進行加載或 ETL 操做。
  • 當您發佈查詢時，查詢會進入 Amazon Redshift SQL 終端節點，該終端節點會生成查詢方案並對其進行優化。

跨區域複製（CRR）

• S3的一個可選項，能夠把AWS區域中的源存儲桶中的新對象異步複製到另外一個區域中的目標存儲桶
• 與對象關聯的元數據和ACL也會被複制
• 源和目標存儲桶都必須啓用版本控制
• 支持分別爲源目標建立生命週期規則，也能夠無視規則直接將數據複製到跨區域的Glacier中
• 功能啓動後，只有新對象會被跨區域複製，現有對象必須手工經過單獨的命令複製過去
• 支持跨帳戶CCR
• 刪除操做（包括文件刪除和版本刪除）都不會被同步到目標區域

存儲類分析

• 藉助存儲類分析，您能夠分析存儲訪問模式並將相應數據傳輸給正確的存儲類。這一新的 S3 功能可自動識別不頻繁訪問模式，從而幫助您將存儲轉換爲 S3 標準 – IA。
• 您能夠配置存儲類分析策略來監視整個存儲桶、前綴或對象標籤。
• 最後在控制檯上可視化，也能夠導出至S3以便用Amazon QuickSight 商業智能分析工具。

對象鎖定

• 能夠在客戶定義的保留期內阻止刪除對象版本，讓您可以經過實施保留策略來進一步保護數據或知足監管要求。
• 在對象級別或存儲桶級別配置 S3 對象鎖定，防止在預約義的保留到期日期或依法保留日期以前刪除對象版本。不管對象在哪一個存儲類中，S3 對象鎖定保護都將保留，而且會在存儲類之間的整個 S3 生命週期轉換期間保留。

S3 清單

• 爲S3同步列表提供的預約替代方案
• 經過S3清單，提供每日，每週的對象元數據進行輸入，以加快業務工做流和大數據做業的查詢。

檢測數據損壞

• 是利用Content MD5 以及 CRC來檢測數據損壞
• 在空閒時對數據執行檢測，並使用冗餘數據修復任何損壞

記錄日誌

• 跟蹤對S3存儲桶的訪問日誌，默認關閉
• 日誌記錄採用盡力而爲方式記錄，會稍有延遲
• 日誌包含 請求者帳戶和IP、存儲桶名稱、請求時間、請求操做和錯誤代碼

事件通知

• 在S3反應操做或上載等事件時，啓用通知執行工做流，發送警報或執行其餘操做來響應該事件
• 通知消息結合SNS、SQS、Lambda函數進行響應觸發

跨源資源共享 CORS

• 現代瀏覽器默認使用了同源策略阻止JavaScript或HTML5加載其餘站點的內容以確保不會有惡意內容被加載
• S3能夠配置明確啓用跨源請求，實現外部網頁、樣式表、H5等程序安全的引用S3的資源

S3實踐和場景

S3使用實踐

• 選擇離用戶較近的區域，距離對性能影響很是大
• 與計算資源和其餘AWS資源位於同一位置會影響性能
• 使用全球惟一的字符串（3-63字符）來命名對象，是存儲桶提供一致的性能

S3應用場景

• 本地或雲數據的備份和歸檔
• 媒體和軟件存儲和分發
• 大數據分析
• 靜態網站託管
• 雲原生移動互聯網應用程序託管
• 做爲批量數據的Blob存儲，同時在另外一數據庫中保留數據索引實現快速搜索和複雜查詢
• 靜態網站託管

S3請求處理性能優化

• 當S3存儲桶中的對象超過1000個時，存儲桶會進行分區
• 若是順序命名這些對象，可能致使每次對多個鄰近對象的讀取都在一個分區裏而影響性能
• 經過在對象名前綴添加hash值得方式，使得對象隨機的分佈在不一樣分區裏，則能夠提高處理性能
• 之前存儲桶常規能夠支持 每秒 100個以上的PUT/LIST/DELETE 以及 300 個以上的GET，
• 2018年後，提高到3500個PUT 和 5500個GET,通常狀況下再也不須要對處理性能進行優化

• 爲了更有效的檢索，還建議保留二級索引並存儲在數據庫中，如DynamoDB

S3 安全性

訪問控制

• Identity and Access Management (IAM) 策略

  • IAM 讓擁有多名員工的組織可以使用一個 AWS 帳戶建立和管理多個用戶。使用 IAM 策略，公司可向 IAM 用戶授予對 Amazon S3 存儲桶或對象的精細控制權，同時保留對用戶執行的全部操做的徹底控制。

• 存儲桶策略

  • 用存儲桶策略，客戶能夠定義普遍適用於其 Amazon S3 資源的全部請求的規則，例如爲 Amazon S3 資源的子集授予寫入權限。客戶還能夠基於請求的某種特徵（例如 HTTP 引用站點和 IP 地址）來限制訪問。
  • 能夠利用存儲桶策略配合IAM策略，以及查詢字符串認證來實現細粒度訪問控制 （推薦）

• 訪問控制列表 (ACL)

  • 使經過 ACL，客戶可爲特定用戶授予對單個存儲桶或數據對象的特定權限，例如讀取、寫入、徹底控制。
    這是一種粗粒度的訪問控制。

• 查詢字符串身份驗證

  • 藉助查詢字符串身份驗證，客戶能夠爲 Amazon S3 對象建立一個僅在有限時間內有效的 URL。

S3的數據加密

• 數據加密是可選項
• 默認狀況下，S3是私有數據，須要AWS憑證才能訪問
• 可是能夠經過預簽名URL分享對象，經過HTTP和HTTPS訪問
• S3提供日誌功能審覈全部對象的訪問
• S3支持爲每一個存儲桶、前綴和對象設置訪問控制列表和策略
• 最佳實踐是對全部敏感數據加密
• 傳輸中的數據使用SSL API，確保全部數據都採用HTTPS傳輸

• 服務器端加密：

  • 數據在S3中存儲是被加密，採用SSE的不一樣組合解決方案
  • 若是是受權的訪問，訪問加密數據和非加密數據的過程其實是沒有區別的
  • AWS加密密鑰能夠經過輪換密鑰來進一步加密

  • SSE-S3

    • 使用256位AES-256加密標準進行加密，而且主密鑰會按期輪換
    • 提供了一種集成式解決方案，Amazon 經過其使用多個安全層處理密鑰管理和密鑰保護問題。若是您但願 Amazon 管理您的密鑰，您應該選擇 SSE-S3。

  • SSE-C

    • 客戶來提供和管理加密密鑰，S3負責加密和解密
    • 讓您能利用 Amazon S3 對對象執行加密和解密操做，同時保持對加密對象所用密鑰的控制權。藉助 SSE-C，您無需實施或使用客戶端庫來對 Amazon S3 中儲存的對象執行加密和解密，可是須要對您發送到 Amazon S3 中執行對象加密和解密操做的密鑰進行管理。若是您但願保留本身的加密密鑰而不想實施或使用客戶端加密庫時，請使用 SSE-C。

  • SSE-KMS

    • 使用AWS提供的密鑰管理系統，有更多的密鑰管理能力
    • 可以讓您使用 AWS Key Management Service (AWS KMS) 來管理您的加密密鑰。使用 AWS KMS 管理您的密鑰有幾項額外的好處。利用 AWS KMS，會設置幾個單獨的主密鑰使用權限，從而提供額外的控制層並防止 Amazon S3 中存儲的對象遭到未受權訪問。AWS KMS 提供審計跟蹤，所以您能看到誰使用了您的密鑰在什麼時候訪問了哪些對象，還能查看用戶在沒有解密數據的權限下所做的訪問數據失敗嘗試次數。同時，AWS KMS 還提供額外的安全控制，從而支持客戶努力符合 PCI-DSS、HIPAA/HITECH 和 FedRAMP 行業要求。
  • 客戶端加密
    • 使用 Amazon S3 加密客戶端之類的加密客戶端庫，
    • 您能夠保持對密鑰的控制並使用您選擇的加密庫完成對象客戶端側的加密和解密。一些客戶傾向於對加密和解密對象擁有端到端的控制權；這樣一來，只有通過加密的對象纔會經過互聯網傳輸到 Amazon S3。若是您想掌握對加密密鑰的控制權，應該使用客戶端庫，這樣即可實施或使用客戶端加密庫，同時在將對象傳輸到 Amazon S3 進行儲存以前須要對其進行加密。
    • 數據在存入S3前已經被客戶應用程序加密，除了用戶本身進行徹底管理外，也能夠選擇使用AWS KMS進行密鑰管理
    • 是嵌入AWS開發工具包中的一組開源API取×××源的加密工具，客戶端將從KMI中提供一個密鑰，做爲S3調用的一部分用於加密或解密
    • 經過AWS EMR 數據寫入 S3時，可使用S3DistCp請求服務器端加密，也能夠在寫入前進行客戶端加密，須要將S3DistCP複製到EMR集羣裏

數據訪問審計

• 能夠選擇爲存儲桶配置建立訪問日誌記錄
• 也能夠利用CloudTrail監控訪問日誌。

Amazon Macie

• Amazon Macie 是一種支持 AI 技術的安全服務，能夠幫助您經過自動發現、分類和保護存儲在 Amazon S3 中的敏感數據來防止數據丟失。
• Amazon Macie 使用機器學習來識別敏感數據（例如，我的身份信息 [PII] 或知識產權），分配業務價值，提供此數據的存儲位置信息及其在組織中的使用方式信息
• Amazon Macie 爲您提供一種自動化和低接觸的方式來發現和分類業務數據。Amazon Macie 識別客戶在其 S3 存儲桶中的對象，並將對象內容流式傳輸到內存中進行分析。當須要對複雜文件格式進行更深刻的分析時，Amazon Macie 將下載對象的完整副本，並在短期內保存，直到完成對象的全面分析。
• Amazon Macie 可持續監控數據訪問活動異常，並在檢測到未經受權的訪問或意外數據泄漏風險時發出警報。經過模板化的 Lambda 函數進行控制，可在發現可疑行爲或對實體或第三方應用程序進行未經受權的數據訪問時撤銷訪問或觸發密碼重置策略。發出警報時，您可使用 Amazon Macie 進行事件響應，並使用 Amazon CloudWatch Events 迅速採起行動，保護您的數據。

AWS S3 Glacier

概述

• 成本極低的歸檔服務
• 不支持實時讀取，一般須要3-5個小時完成檢索，但可使用加急檢索（1-5分鐘）
• 支持傳統磁帶的TAR歸檔和ZIP文件歸檔
• 每一個AWS帳號支持1000個存檔庫，每一個存檔庫能夠無限量支持存檔文件，每一個存檔文件1KB-40TB，每一個文件須要額外32K+8K用於索引和元數據。
• 達到11個9的數據持久性
• Glacier數據是默認加密
• 按照存儲容量和檢索容量收費
• 最少存儲90天，不然須要收取提早刪除費

屬性

Archives 檔案

• 每一個檔案最大支持40TB數據
• 每一個檔案有惟一檔案ID，但不支持用戶友好的存檔名稱
• 歸檔建立完成後，沒法被修改

Vaults保管庫

• 存放歸檔的容器，每一個帳戶最多擁有1000個Vault
• 基於Vault能夠實現訪問策略控制，支持IAM策略

Vaults Locks 保管庫鎖

• 強制執行各個Vaults的合規性策略，包括一次寫入屢次讀取控件
• 一旦鎖定，策略將不可改變

數據檢索

• 每個月能夠免費檢索10GB的歸檔數據

• 須要使用Amazon S3 API 或 S3 控制檯來對Glacier 進行檢索和操做

  • 標準檢索 3-5個小時
  • 批量檢索 5-12小時
  • 加急檢索 1-5分鐘，經過預置容量保證每5分鐘執行3次加急檢索
• 建議使用策略來限制檢索數據大小以確保經濟性
• 讀取Glacier 數據會在S3-IA中建立一個臨時副本
• 檢索部分存檔時，只要提取的範圍和整個文檔的哈希樹對齊就能驗證文檔的完整性
• 只能夠維護一份Glacier的數據索引來列出全部存檔清單，一天更新一次

數據傳輸和訪問

• 全部到Glacier的數據傳輸都是SSL加密的，無論是對內仍是對外
• 經過文件庫訪問策略在資源級別設計權限
• 使用IAM在用戶權限級別設計權限
• 僅容許自身的AWS帳戶及受權的IAM用戶能夠對Glacier 進行訪問，但能夠供IAM Role授予跨帳戶只讀權限

Glacier Select

• Amazon S3 Glacier Select 是一項功能，可以讓您對存儲在 Amazon S3 Glacier 中的數據運行查詢，而不須要將整個對象恢復到 Amazon S3 等較熱的層。
• 藉助 Amazon S3 Glacier Select，您如今可使用 SQL 子集直接對 Amazon S3 Glacier 中的數據進行篩選和基本查詢。
• 您提供 SQL 查詢和 Amazon S3 Glacier 對象列表，Amazon S3 Glacier Select 將就地運行查詢，並將輸出結果寫入您在 Amazon S3 中指定的存儲桶

AWS上存儲的文件生命週期策略

Elastic Block Store （EBS）

概述

• EBS僅在單個可用區有效
• 每一個EBS塊會在可用區內自動複製，以提供高持久和高可用。
• EBS卷能夠掛載到EC2，一次只能將EBS鏈接到一個EC2
• 要共享磁盤卷，須要使用EFS

EBS類型

• 磁性卷（Megnetic Volume）

  • 最低的性能和最經濟的存儲
  • EBS磁盤大小從1GB - 1TB 不等，無論實際存儲大小，均按預配置存儲收費
  • 平均支持100 IOPS，但最大可突破到數百IOPS，吞吐量 40-90MB
  • 適用於 不常訪問數據的工做負載，連續讀取須要低成本存儲的狀況

• 通用SSD （gp2)

  • 經濟高效的存儲，適合各類工做負載
  • 容量範圍從1GB到16TB
  • 每GB提供3個IOPS基準性能，上限爲10000IOPS，吞吐量160MB
  • 1TB如下能夠支持突破3000IOPS，如當有500G硬盤標準IO爲1500IOPS，在不使用磁盤時作IO信用積累，用於在大量IO是採用爆裂行爲至3000IOPS
  • 不管實際使用多少容量，都按照預配置容量收費
  • 支持掛載多個卷條帶化實現更高性能
  • 適用於：系統啓動卷，中小型數據庫，開發和測試環境

• 預置IOPS SSD卷 (lo1)

  • 適合於對存儲性能、隨機IO一致性很是敏感的應用，即IO密集型工做負載，如大型數據庫
  • 容量範圍從4GB 到 16TB
  • IOPS上限爲容量的30倍或32000IOPS, 吞吐量 320MB
  • 能夠經過RAID0進行卷分割
  • 支持掛載多個卷條帶化實現高性能，最大75000IOPS
  • 用戶須要對預置的磁盤大小和IOPS進行付費

• 吞吐量優化HDD (st1)

  • 適用於頻繁訪問、吞吐量密集型的工做負載的高性能低成本HDD
  • 容量範圍 500GB - 16GB
  • 最大IOPS 500， 最大吞吐量 500MB/s

• 冷硬盤 (sc1)

  • 容量範圍 500GB - 16GB
  • 較少訪問的工做負載，IOPS 250 ， 最大吞吐量250MB

• EBS優化實例

  • 使用任何標準EBS以外的數據卷掛載，都建議使用基於EBS優化的實例。
  • EBS優化實例須要爲每小時租用支付額外一小筆費用

保護數據

• 數據快照

  • 不管任何類型的卷，均可以採用EBS快照進行備份，並存儲在S3中
  • 快照是增量備份, 但每一個快照文件利用快照連接是獨立的可恢復的
  • 快照自己免費，僅需爲快照數據存儲付費
  • 快照完成後可繼續操做數據庫，但快照文件在傳輸完成以前將沒法進行下一次快照
  • 快照存儲雖然採用和S3相同技術，可是並不能像S3同樣訪問和管理，必須採用專門的快照管理功能

• 數據恢復

  • 快照恢復只能在當前區域操做，若是要跨區域恢復快照，須要先跨區域拷貝快照
  • 快照恢復會首先建立卷，而後在逐塊恢復數據，優先訪問的塊會被優先恢復
  • 數據第一次從快照恢復的時候，其讀取速率會較慢
  • 數據快照能夠用來做爲當前EBS卷的擴容操做，即先作快照，再往新大小的捲上恢復快照
  • 當數據卷從當前實例中被分離後，便可掛載到新的實例，快照恢復卷自己就是個分離卷

• 加密選項

  • ESS掛載前須要被指定加密選項
  • EBS卷加密一般使用KMS來管理密鑰
  • 數據一般會在未訪問時被自動加密，因此讀取非加密數據和加密數據的各方面性能是一致的
  • 從加密卷獲取的快照會被自動加密，加密快照文件自己也會被加密存儲
  • 不能對已存在的捲進行加密，須要對其快照進行加密恢復成一個新的卷， 也能夠將一個未加密快照拷貝成一個加密快照
  • EBS根卷默認不能加密，須要使用第三方軟件加密
  • 除根卷以外的其餘卷是能夠加密的

EBS Volume 屬性

• EBS Root Volume必須在關機狀態下進行掛載和卸載，可是Addtional Volume能夠進行在線掛載刪除
• EBS數據是是持久性的，可是默認刪除EC2會自動刪除EBS的數據，可手工選擇保留
• EC2關機後 EBS數據存儲會持續計費

EBS 安全性

• EBS 卷的訪問權限僅限於建立它的AWS帳戶以及受權的IAM帳戶
• EBS快照能夠有限制的分享給其餘帳戶，但須要謹慎
• EBS卷創建時是未格式化設備，全部數據都被擦除
• EBS卷能夠支持用戶定製化的擦除數據
• 建議對EBS數據用AES-256進行加密及其快照

提高EBS性能

• 確保選擇了能夠支持EBS優化的實例

  • C3,R3,M3會產生額外成本
  • M4,C4,C5和D2是免費支持的
• 關閉EBS的RAID0提升吞吐量
• 儘量減小或者進行有計劃的Snapshot，特別對於HDD

實例存儲

概述

• 只有部分EC2實例支持實例存儲
• 掛載在EC2下面的臨時塊級存儲
• 主要用於臨時存儲頻繁修改的信息： 緩衝區、緩存、臨時數據和其餘臨時內容
• EC2可掛載的存儲大小取決於實例類型，最大可掛載24個2TB的實例存儲，也有HDD和SSD可選，這都是與實例自己綁定的，無需另行付費
• 實例終止或中止，底層磁盤失效都會致使實例存儲數據丟失
• 實例存儲容許重啓，但不容許中止
• 支持用戶自定義配置RAID0/1/5等
• 雖然能夠經過RAID或HDFS等方式支持冗餘，可是對於持久性數據仍然建議使用更持久的解決方案如S3或EBS

EFS (Elastic File System)

概述

• 支持GB-PB的自動擴展的數據容量
• 提供延遲低每秒多GB並行的性能，而且支持預置吞吐量
• 實現實例間的數據共享
• 支持Network File System vesion 4 (NFSv4) 協議
• EFS自動分配全局惟一ID，因此命名無需惟一
• 使用掛載方式+文件系統的DNS鏈接到EC2
• EC2和EFS必須在同一個安全組裏面才能掛載
• 只爲使用的EFS份額付費
• 能夠同時間支持成千上萬的NFS鏈接
• 支持一個到上千個EC2掛載同一個EFS
• EFS的數據會保存在一個區域內的多個可用區
• EFS除了可以掛載到EC2，還支持掛載到本地的服務器（ClassicLink)

• 數據從本地移動到EFS

  • 可使用Direct Connect
  • 使用DataSync 使用專用協議來加速和保護經過 Internet 或 AWS Direct Connect 傳輸的數據，速度比開源工具快 10 倍。使用 DataSync，您能夠執行一次性數據遷移，傳輸本地數據以進行及時的雲端分析，並自動複製到 AWS 以進行數據保護和恢復
• 區域級服務，在不一樣可用區之間進行冗餘複製（可手工選擇）
• 能夠利用AWS Backup來安排自動增量式備份
• 讀寫一致性（Read After Write Consistency）
• 支持使用IAM來控制和管理文件系統
• 支持使用KMS進行靜態數據加密