大數據爬坑行(二)安裝flume(單機模式)

根據實際應用,我們管理的設備上的安裝有運行檢測的智能傳感器,會將設備運行的狀態信息以及環境信息傳到應用服務器,應用服務器會將這些信息保存爲運行日誌。由於我們需要管理的設備數量非常多,超過50萬臺,因此這種日誌信息的量非常大。因此我們需要通過flume監控應用中運行日誌的文件夾,上傳到hdfs(以後實時應用還需要上傳到kafka)。我們採用的flume版本是1.6。 首先建立單節點flume作爲測試
相關文章
相關標籤/搜索