根治Kubernetes「存儲頭痛症」的方法

爲何在雲原生世界中，咱們已經自動化了對這麼多底層硬件複雜性的管理，因此存儲仍然如此痛苦？緣由是兩個詞：數據孤島。

若是您已經在使用Kubernetes了，則可能有一個簡單的緣由：它使您的生活更輕鬆。畢竟，這是基於容器編排的整個前提。它讓基礎設施變得可支配，在須要時將其旋轉，完成後將其丟棄，所以您沒必要考慮太多。至少，這就是應該起做用的方式。

如你所知，若是你已經創建起一個依賴於持久性數據的工做，你會立刻遇到一個大問題——存儲。

儘管Kubernetes徹底抽象了計算和網絡基礎架構，可是當您的應用程序是有狀態的而且數據是持久的時，它須要合適的方式進行存儲。您仍必須瞭解底層存儲基礎架構的所有知識，才能找到所需數據的方式。

不只是數據的位置，還有其餘類型的存儲基礎結構附帶的全部其餘細粒度的考慮因素（性能，保護，彈性，數據治理和成本），大多數數據科學家都不想考慮。

爲何在雲原生世界中，咱們已經自動化了對這麼多底層硬件複雜性的管理，因此存儲仍然如此痛苦？緣由是兩個詞：數據孤島。

只要咱們繼續經過其賴以生存的不一樣基礎架構來管理數據，而不是隻關注數據自己，咱們將不可避免地最終要花費大量的存儲孤島。幸運的是，這不是一個棘手的問題。經過將咱們對數據管理的思考方式從以基礎架構爲中心的方法轉變爲以數據爲中心的方法，咱們可使用Kubernetes首先給咱們提供承諾：製做存儲SEP（Someone Else‘s Problem）。

虛擬化您的數據

當您須要的數據散佈在不一樣的存儲孤島上時，每一個存儲孤島都有本身的獨特屬性（「或」或「雲」，「本地」，「對象」，「高性能」等），根本沒法抽象出基礎架構注意事項。仍然有人必須回答全部有關性能，成本和數據治理的問題，才能創建您的管道。（若是該人是您要尋求幫助的IT管理員，您能夠打賭他們每次在您的名字上出現您的名字時都會畏縮。由於他們知道他們將花費大量時間在神祕的基礎結構接口上來破壞您的數據跨全部不一樣的副本和數據存儲，並且他們根本沒法在午飯前完成任務。

擺脫這種頭痛的惟一方法-真正實現Kubernetes應該爲您提供的速度和簡便性的惟一方法-是虛擬化數據。基本上，您須要在數據和全部各類存儲基礎架構之間創建一個智能抽象層。該抽象層應該使您能夠在任何地方查看和訪問數據，而沒必要擔憂給定的基礎架構是否具備適合您正在執行的操做的成本，位置或治理，也沒必要不斷建立新副本。

作到這一點並不像聽起來那麼困難。關鍵：元數據。當您能夠將全部數據需求，上下文或沿襲注意事項編碼爲隨處可見數據的元數據時，那麼在任何給定時刻駐留在哪一個基礎結構數據上就再也不重要。如今，當您創建數據管道時，您能夠徹底使用元數據。並且您的虛擬化層可使用AI / ML爲您自動處理全部基礎數據管理和基礎結構注意事項。

利用基礎架構抽象

一旦創建了虛擬化層，並經過元數據進行數據管理，就能夠執行之前沒法完成的各類事情。

1.消除數據孤島：如今，您須要的數據位於哪一個基礎架構上或該基礎架構位於什麼位置都無所謂。對於您的應用程序，全部那些之前孤立的存儲資源（本地，雲，混合，歸檔）看起來就像一個通用的全局名稱空間。

2.以編程方式訪問存儲資源：因爲您在處理元數據（而不是一堆不一樣的底層硬件基礎結構），所以您如今能夠設置管道並經過聲明性語句訪問數據：我須要具備這種性能的數據，僅此而已真的很在意。而後，智能虛擬化層就能夠實現並實現，而您的應用程序（或您負擔太重的IT管理員）則無需確切說明操做方法。

3.使數據管理實現自助服務：數據科學家無需擔憂比較不一樣存儲類型的成本，啓用數據保護或確保每次創建管道時都知足安全性和合規性要求。（所以，您的IT和安全團隊可能也不但願數據科學家作出這些選擇-除非他們但願全部內容都在最昂貴的存儲上運行且沒有適當的聽從性。）一旦將元數據和數據的管理分開，全部消失了。存儲管理員能夠經過配置一次基本策略來設置防禦欄。而後，用戶能夠今後開始自助知足其大多數數據管理需求，而無需打開票證，而且不會在每次創建管道時手動進行這些調用時出現錯誤。

4.不斷豐富您的數據：當系統支持可自定義的，可擴展的元數據時，您如今能夠進行各類有趣的事情。例如，您能夠構建遞歸流程，在其中經過系統運行數據，獲取一些結果，將這些結果添加回元數據，而後再次運行做業。您能夠開始對數據周圍的數據創建深刻的上下文理解。處理和使用的數據越多，未來用於其餘做業的數據就越豐富。並且，對於要使用它的任何其餘應用程序或數據科學家來講，如今，智能老是隨處可見。它並不侷限於一個副本，而是藏在某個地方的一個存儲孤島上。

解開數據

當您虛擬化數據時，全部這些事情都是可能的，由於與孤立的存儲基礎架構相比，元數據的使用更加靈活。設置和編排數據管道所伴隨的存儲注意事項如今能夠爲您解決。您的存儲資源將變爲可編程的，自助服務的而且自動合規，一般不須要手動干預。

忽然之間，您實際上生活在這樣一個現實，即Kubernetes和軟件定義的存儲始終應該交付。不管基礎架構如何，存儲都是軟件定義的，可編程的而且在混合雲環境中保持一致。您的數據更豐富，更靈活。您的IT團隊再也不將ID卡上的爆炸照片留在牆上扔鏢。最重要的是，您實際上在處理數據上花費了更多時間，而不用擔憂數據的存放位置。