Hadoop小文件優化

本文我的總結     先來了解一下Hadoop中何爲小文件：小文件指的是那些文件大小要比HDFS的塊大小(在Hadoop1.x的時候默認塊大小64M，能夠經過dfs.blocksize來設置；可是到了Hadoop 2.x的時候默認塊大小爲128MB了，能夠經過dfs.block.size設置)小的多的文件。若是在HDFS中存儲小文件，那麼在HDFS中確定會含有許許多多這樣的小文件(否則就不會用ha

>>阅读原文<<