HDFS案例——開發shell採集腳本

需求說明 點擊流日誌每天都10T，在業務應用服務器上，需要準實時上傳至數據倉庫（Hadoop HDFS）上 需求分析 一般上傳文件都是在凌晨24點操作，由於很多種類的業務數據都要在晚上進行傳輸，爲了減輕服務器的壓力，避開高峯期。 如果需要僞實時的上傳，則採用定時上傳的方式          技術分析           HDFS SHELL:  hadoop fs  –put   xxxx.tar

>>阅读原文<<