【Spark2運算效率】第五節 影響生產集羣運算效率的緣由之小文件

【Spark2運算效率】【Spark2運算效率】第五節 影響生產集羣運算效率的緣由之小文件 前言 問題概述 案例 結語 跳轉 前言 關於小文件的治理方案頗多，能夠迴歸到hdfs底層的block層面看待治理問題。，首先能夠經過查詢命令（hadoop dfs -count 路徑）來查看路徑目錄下文件夾數目、文件數目及文件總大小（博主曾分享過相關的自動化腳本，有須要的能夠去看看，很容易上手【小工具】 h

>>阅读原文<<