google cloud storage products

https://cloud.google.com/products/storage/

 

BigTable

Cloud Bigtable 是 Google 面向大數據領域的 NoSQL 數據庫服務。它也是爲 Google 搜索、Analytics（分析）、地圖和 Gmail 等衆多核心 Google 服務提供支撐的數據庫。

https://cloud.google.com/bigtable/docs/?_ga=2.253537231.-792515609.1538018833

Cloud Bigtable 是稀疏填充的表，能夠擴展到數十億行和數千列，可以讓您存儲 TB 級甚至是 PB 級的數據。每行中都會有一個被編入索引的值；這個值稱爲行鍵。Cloud Bigtable 很是適合以很是低的延遲存儲大量單鍵數據。它能夠低延遲支持高讀寫吞吐量，是 MapReduce 操做的理想數據源。

適合的場景

若是應用須要很是高的吞吐量和可擴展性來處理非結構化鍵/值數據，而數據中的每一個值一般不超過 10 MB，使用 Cloud Bigtable 很是適合。Cloud Bigtable 還很是適合做爲批量 MapReduce 操做、流處理/分析和機器學習應用的存儲引擎。

 

Datastore

Firestore

• 用戶生成的內容
• 經過移動網絡上傳的內容

Cloud Firestore 是一種靈活且可擴展的數據庫，適用於在 Firebase 和 Google Cloud Platform 上進行移動、網頁和服務器開發。與 Firebase 實時數據庫同樣，它能夠經過實時偵聽器使您的數據在各個客戶端應用之間保持同步，併爲移動和網頁應用提供離線支持，以幫助您構建不管網絡延遲時間或互聯網鏈接情況如何都能快速響應的應用。Cloud Firestore 還提供與其餘 Firebase 和 Google Cloud Platform 產品（包括 Cloud Functions）的無縫集成。

 

永久性磁盤（塊存儲）

• 虛擬機磁盤
• 在多個虛擬機之間共享只讀數據
• 爲運行中的虛擬機快速建立耐久備份
• 數據庫的本地存儲空間

https://cloud.google.com/persistent-disk/

Google 永久性磁盤是適用於 Google Cloud Platform 的一種耐用的高性能塊存儲服務。永久性磁盤提供 SSD 和 HDD 存儲空間，二者均可以關聯到 Google Compute Engine 或 Google Kubernetes Engine 中運行的實例。存儲卷能夠透明地調整大小、快速備份，並支持多個讀取器同時讀取。

regional persistent disk

regional persistent disks provide durable storage and replication of data between two zones in the same region.

If you are designing robust systems on Compute Engine, consider using regional persistent disks to maintain high availability for resources across multiple zones. Regional persistent disks provide synchronous replication for workloads that might not have application-level replication.

Regional persistent disks are designed for workloads that require redundancy across multiple zones with failover capabilities. 

A write is acknowledged back to a VM only when it is durably persisted in both replicas. If one of the replicas is unavailable, Compute Engine only writes to the healthy replica. When the unhealthy replica is back up (as detected by Compute Engine), then it is transparently brought in sync with the healthy replica and the fully synchronous mode of operation resumes. This operation is transparent to a VM.

In the rare event both replicas become unavailable at the same time, or the healthy replica becomes unavailable while another one is being brought into sync, the corresponding disk becomes unavailable.

Google Compute Engine支持的存儲類型對比

 

	地區標準 永久性磁盤	區域 永久性 磁盤	地區 SSD 永久性磁盤	區域 SSD 永久性 磁盤	本地 SSD	Cloud Storage 存儲分區
存儲類型	高效可靠的塊存儲	在區域中兩個地區間進行同步複製的高效可靠的塊存儲	快速、可靠的塊存儲	在區域中兩個地區間進行同步複製的快速可靠的塊存儲	高性能本地塊存儲	經濟實惠的對象存儲
每一個實例的最大空間	64 TB	64 TB	64 TB	64 TB	3 TB	幾乎無限
訪問範圍	地區	地區	地區	地區	實例	全球
數據冗餘	地區	多地區	地區	多地區	無	區域或多區域
靜態加密	有	是	是	是	是	有
自定義加密密鑰	有	是	是	是	否	有
支持的機器類型	全部機器類型	全部機器類型	全部機器類型	全部機器類型	大多數機器類型	全部機器類型

 

 塊存儲性能指標

 

	地區標準 永久性磁盤	區域 永久性 磁盤	地區 SSD 永久性磁盤	區域 SSD 永久性 磁盤	本地 SSD (SCSI)	本地 SSD (NVMe)
最大持續 IOPS
讀取 IOPS/GB	0.75	0.75	30	30	266.7	453.3
寫入 IOPS/GB）	1.5	1.5	30	30	186.7	240
讀取 IOPS/實例	3000	3000	15,000 - 60,000*	15,000 - 60,000*	400,000	680,000
寫入 IOPS/實例	15000	15000	15,000 - 30,000*	15,000 - 30,000*	280,000	360,000
最大持續吞吐量 (MB/s)
讀取吞吐量/GB	0.12	0.12	0.48	0.48	1.04	1.77
寫入吞吐量/GB	0.12	0.12	0.48	0.48	0.73	0.94
讀取吞吐量/實例	180	180	240 - 1200*	240 - 1200*	1,560	2,650
寫入吞吐量/實例	120	120	240 - 400*	120 - 200*	1,090	1,400

Storage(對象存儲)

• 流式視頻
• 圖片與 Web 資源庫
• 數據湖

• 備份
• 媒體內容歸檔
• 長尾內容
• 遵照法規要求

https://cloud.google.com/storage/docs/

特性

特性	內容
加密	Cloud Storage 在將數據寫入磁盤以前，始終會在服務器端對您的數據進行加密，無需額外費用。除了此標準行爲外，您在使用 Cloud Storage 時，還可使用其餘方法加密數據。如下內容總結了您可使用的加密選項： 服務器端加密：在 Cloud Storage 接收數據以後、在將數據寫入磁盤並存儲以前執行的加密。 客戶提供的加密密鑰：您能夠爲服務器端加密功能建立和管理您本身的加密密鑰，這些密鑰充當標準 Cloud Storage 加密基礎之上的額外加密層。 客戶管理的加密密鑰：您可使用 Cloud Key Management Service 生成和管理加密密鑰，這些密鑰充當標準 Cloud Storage 加密基礎之上的額外加密層。 客戶端加密：在將數據發送到 Cloud Storage 以前執行的加密。此類數據在到達 Cloud Storage 時已進行加密，但一樣會進行服務器端加密。
對象元數據	元數據用於標識對象的屬性，並指定了訪問對象時應如何處理對象。元數據以鍵值對的形式存在。 元數據的可變性各不相同：有些元數據您隨時能夠修改，有些元數據您只能在建立對象時設置，有些元數據您只能查看。
Cloud Pub/Sub Notifications for Cloud Storage	Cloud Pub/Sub Notifications 將存儲分區中對象的相關更改信息發送到 Cloud Pub/Sub（隨後，信息以消息的形式添加到您選擇的 Cloud Pub/Sub 主題中）。例如，您能夠跟蹤存儲分區中建立和刪除的對象。每一個通知都包含相應的信息，這些信息說明了觸發通知的事件以及發生更改的對象。
對象版本控制	爲了支持檢索已刪除或覆蓋的對象，Cloud Storage 提供了對象版本控制功能。本頁面介紹了此功能以及使用此功能時可用的選項。要了解如何啓用和使用對象版本控制，請參閱使用對象版本控制。 啓用對象版本控制可防止 Cloud Storage 的數據被覆蓋或意外刪除。啓用對象版本控制會增長存儲費用，能夠經過配置對象生命週期管理刪除舊對象版本，以在必定程度上緩解存儲費用增長。
生命週期管理配置	您能夠將生命週期管理配置分配給存儲分區。該配置包含一組適用於存儲分區中的當前和將來對象的規則。當對象知足其中一個規則的條件時，Cloud Storage 會自動對該對象執行指定的操做。如下是一些示例用例： 將超過 365 天的對象的存儲類別降級爲 Coldline 存儲空間。 刪除 2013 年 1 月 1 日以前建立的對象。 在啓用版本控制的存儲分區中僅保留每一個對象的 3 個最新版本。
請求者付款	每次用戶訪問存儲分區或對象等 Cloud Storage 資源時，都會產生與發出和執行請求關聯的費用。此類費用包括： 執行請求所產生的操做費用。 讀取數據所產生的網絡費用。 數據檢索費用（若是數據的存儲類別爲「Nearline 存儲空間」或「Coldline 存儲空間」）。 一般，資源的項目全部者需支付這些訪問費用；可是，若是請求者隨其請求一塊兒提供結算項目，則會針對請求者的項目進行計費。在您的存儲分區上啓用「請求者付款」功能後，您能夠要求請求者在其請求中包含一個結算項目，從而對請求者的項目進行計費。在某些狀況下，啓用請求者付款功能可以爲您帶來便利；例如，您想要向用戶提供大量數據，但您不但願承擔他們訪問這些數據所產生的費用，在這種狀況下，建議您啓用此功能。
存儲分區鎖定功能	您能夠在建立新存儲分區時包含保留政策，也能夠將保留政策添加到現有存儲分區。爲存儲分區設置保留政策可確保在達到保留政策所定義的保留期限以前，不能刪除或覆蓋存儲分區中的全部當前和將來的對象。嘗試刪除或覆蓋還沒有到達保留期限的對象會致使失敗，並返回 403 - retentionPolicyNotMet 錯誤。 例如，假設在存儲分區有兩個對象：對象 A 是一個月前添加的，對象 B 是兩年前添加的。若是您向該存儲分區應用保留期限爲 1 年的保留政策，則沒法在未來 11 個月內刪除或覆蓋對象 A：它當前的存在時間是 1 個月，必須至少達到 1 年才能被刪除或覆蓋。而對象 B 能夠被當即刪除或覆蓋，由於其存在時間超過了保留期限。若是您決定覆蓋對象 B，則此新版本的對象 B 的存在時間將從 0 年開始從新計算。 爲了幫助您跟蹤單個對象什麼時候能夠被刪除，具備保留政策的存儲分區中的每一個對象都具備保留失效時間的元數據。此元數據顯示對象達到保留期限的日期和時間。 保留期限以秒爲單位。但爲了方便，某些工具（如 Google Cloud Platform Console 和 gsutil）也容許您使用其餘時間單位設置和查看保留期限。 該功能適用於醫療或金融等，有存檔時限審計要求的存儲內容。
對 gzip 壓縮文件進行轉碼	在 Cloud Storage 中，轉碼是指系統在將文件傳送給請求者以前自動更改文件的壓縮狀態。若是轉碼生成的文件是 gzip 壓縮文件，則可視爲壓縮式轉碼，而若是生成的文件已再也不是 gzip 壓縮文件，則可視爲解壓縮式轉碼。Cloud Storage 支持解壓縮形式的轉碼。
跨源資源共享 (CORS)	同源政策是在客戶端網絡應用（好比網絡瀏覽器）上實施的安全策略，用於防止來自不一樣來源的資源之間發生交互。雖然這種安全措施可用於防止惡意行爲，但也可能會阻止已知來源之間開展的合法交互。例如，App Engine 上託管的頁面（網址爲 example.appspot.com）中的腳本可能須要使用存儲在 Cloud Storage 存儲分區（網址爲 example.storage.googleapis.com）中的資源。可是，因爲瀏覽器會將它們視爲兩個不一樣的來源，所以不容許來自 example.appspot.com 的腳本從 example.storage.googleapis.com 提取資源。 跨源資源共享 (CORS) 規範是由萬維網聯盟 (W3C) 制定的，該規範旨在克服這一限制。Cloud Storage 支持此規範，這意味着，它容許您將存儲分區配置爲支持 CORS。在上述示例中，您能夠配置 example.storage.googleapis.com 存儲分區，以便瀏覽器能夠與來自 example.appspot.com 的腳本共享該存儲分區的資源。

 

Filestore

• 主目錄
• 渲染和媒體處理
• 應用遷移

https://cloud.google.com/filestore/docs/

特性

特性	描述
訪問控制	Cloud Filestore 不支持 Kerberos，以保護對 Cloud Filestore 實例的訪問。請改用下面描述的 Linux 和 Cloud Identity and Access Management (IAM) 選項。 Cloud Filestore 文件共享具備固定 /etc/exports 設置。（與nfsd的設置徹底一致） IAM 權限只能控制對 Cloud Filestore 操做（例如建立 Cloud Filestore 實例）的訪問權限。Linux 權限則決定對 Cloud Filestore 文件共享上的操做（如讀取或執行）的訪問權限。
網絡	定 VPC 網絡中的全部內部 IP 地址均可以鏈接到 Cloud Filestore 實例。 若是您使用的是除默認網絡之外的 VPC 網絡，則可能須要建立防火牆規則，以啓用與 Cloud Filestore 實例的通訊。
可靠性	Cloud Filestore 內置地區級（同城）存儲冗餘功能，可保護您的數據免受設備故障的影響，並確保數據在數據中心維護期間的可用性。 Cloud Filestore 實例位於區域內的各個地區中。區域是指您能夠在其中運行資源的特定地理位置。每一個區域都被劃分爲幾個地區。例如，美國中部的 us-central1 區域包含 us-central1-a、us-central1-b、us-central1-c 和 us-central1-f 地區。
可用性與恢復	若是發生須要 GCP 重啓 Cloud Filestore 實例的可恢復錯誤，該實例應在兩分鐘內再次可用。若是 Cloud Filestore 實例所在的地區處於關閉狀態，則該實例不可用
支持協議	Cloud Filestore 在 Cloud Filestore 實例上使用 NFSv3，並支持任何與 NFSv3 兼容的客戶端。

性能指標

 

 

	標準	高級
最大讀取吞吐量	100 MB/秒 (1 TB)、180 MB/秒（10 TB 以上）	1.2 GB/秒
最大寫入吞吐量	100 MB/秒 (1 TB)、120 MB/秒（10 TB 以上）	350 MB/秒
最大 IOPS	5000	60000
每一個共享的最大容量	63.9 TB	63.9 TB
客戶實現的典型可用性	99.9%	99.9%
協議	NFSv3	NFSv3

 

層級	大小 (TB)	讀取 (Tput)	讀取 (IOPS)	寫入 (Tput)	寫入 (IOPS)
標準	1	100 MB/秒	600	100 MB/秒	1000
標準	10+	180 MB/秒	1000	120 MB/秒	5000
優質	2.5+	1.2 GB/秒	60000	350 MB/秒	25000

性能測試指令

如下示例對最大寫入吞吐量執行基準化分析：

 

fio --ioengine=sync --direct=0 \
--fsync_on_close=1 --randrepeat=0 --nrfiles=1  --name=seqwrite --rw=write \
--bs=1m --size=20G --end_fsync=1 --fallocate=none  --overwrite=0 --numjobs=1 \
--directory=/mnt/gcfs --loops=10

如下示例對最大寫入 IOPS 執行基準化分析：

 

fio --ioengine=sync --direct=0 \
--fsync_on_close=1 --randrepeat=0 --nrfiles=1  --name=randwrite --rw=randwrite \
--bs=4K --size=1G --end_fsync=1 --fallocate=none  --overwrite=0 --numjobs=80 \
--sync=1 --directory=/mnt/standard --loops=10

如下示例對最大讀取吞吐量執行基準化分析：

 

fio --ioengine=sync --direct=0 \
--fsync_on_close=1 --randrepeat=0 --nrfiles=1  --name=seqread --rw=read \
--bs=1m --size=240G --end_fsync=1 --fallocate=none  --overwrite=0 --numjobs=1 \
--directory=/mnt/ssd --invalidate=1 --loops=10

如下示例對最大讀取 IOPS 執行基準化分析：

fio --ioengine=sync --direct=0 \
--fsync_on_close=1 --randrepeat=0 --nrfiles=1  --name=randread --rw=randread \
--bs=4K --size=1G --end_fsync=1 --fallocate=none  --overwrite=0 --numjobs=20 \
--sync=1 --invalidate=1 --directory=/mnt/standard  --loops=10

 

ARCHIVAL CLOUD STORAGE：NEARLINE 和 COLDLINE

用於備份、歸檔和災難恢復的存儲解決方案，可用性高、經濟實惠

 

SQL

Cloud SQL 實例是全託管式 MySQL 和 PostgreSQL 關係型數據庫。Google 負責處理數據複製、補丁管理和數據庫管理等工做，以確保可用性和性能。 瞭解詳情

要開始使用 Cloud SQL，您能夠建立一個新實例，也可使用 Cloud SQL 將您的 SQL 數據庫遷移至 Google Cloud。

Spanner

Cloud Spanner 是一項徹底託管的關係型數據庫服務，可提供全球範圍的事務一致性和高可用性。要使用 Cloud Spanner，請在項目中建立 Cloud Spanner 實例，而後設置開發環境以訪問 Cloud Spanner 並添加數據

https://cloud.google.com/spanner/?hl=zh_CN&_ga=2.13410417.-792515609.1538018833

 

	CLOUD SPANNER	傳統的關係型數據庫	傳統的非關係型數據庫
架構	done是	done是	clear否
SQL	done是	done是	clear否
一致性	done強	done強	clear最終
可用性	done高	clear故障轉移	done高
擴容	done橫向	clear縱向	done橫向
複製	done自動	autorenew可配置	autorenew可配置

 Memorystore

Cloud Memorystore for Redis 提供徹底託管的內存存儲區，不只具備高可用性和無縫容量調節功能，還與開源協議兼容。

使用 Cloud Memorystore for Redis 能夠輕鬆部署、管理和監控內存存儲區。

https://cloud.google.com/memorystore/

 

Data Fusion

Fully managed, Cloud native, enterprise data integration service

Cloud Data Fusion is a fully-managed, cloud native, enterprise data integration service for quickly building and managing data pipelines. It provides a graphical interface to increase time efficiency and reduce complexity, and allows business users, developers, and data scientists to easily and reliably build scalable data integration solutions to cleanse, prepare, blend, transfer and transform data without having to wrestle with infrastructure.

https://cloud.google.com/data-fusion/docs/?hl=zh_CN&_ga=2.21229309.-792515609.1538018833

 

NetApp Cloud Volumes 

NetApp Cloud Volumes for Google Cloud Platform is a simple to consume, fully-managed cloud-native file storage service that delivers unprecedented performance to your cloud application and development environments. Cloud Volumes offers advanced data management capabilities including on-demand and scheduled Snapshots and creating new volumes from Snapshots.You get persistent storage for your cloud-native environments and the ability to migrate your enterprise applications, without adding complexity. The integration and partnership of NetApp and Google Cloud gives enterprise customers a simple, integrated experience and gives developers the tools and performance to build what's next.