Hadoop硬實戰--技術點1--Slurper的使用

已經存在的文件傳輸機制,如Flume、Scribe和ChuKwa,可以支持日誌文件,那麼如何傳輸其他格式的文件,如半結構化和二進制的文件?--使用HDFS File Slurper。 使用HDFS File Slurper(HFS)工具進行數據自動化導入導出HDFS中。Slurper可以讀取存在於源目錄中的任何文件,並選擇性的通過一個腳本文件確定文件在目標目錄中的位置,然後將文件寫入目的地,之後經
相關文章
相關標籤/搜索