自動化HDFS數據複製機制的簡單方法!

到目前爲止,我們已經看到了從HDFS複製數據的不同選擇。大多數機制沒有自動化或調度功能,不過是用於訪問數據的低級方法。如果希望自動化數據副本,可以將其中一種低級技術包含在調度引擎(如cron或Quartz)中。但是,如果正在尋找開箱即用的自動化工具,本節很適合你閱讀。 在本章的前半部分,我們研究了兩種可以將半結構化和二進制數據轉換爲HDFS的機制:開源HDFS File Slurper項目和Ooz
相關文章
相關標籤/搜索