Hadoop IO 操作

HDFS SequenceFile 與 MapFile 標籤： HDFS SequenceFile 背景：HDFS和MapReduce主要針對大數據文件來設計，在小文件處理上效率低.解決方法是選擇一個容器,將這些小文件包裝起來,將整個文件作爲一條記錄,可以獲取更高效率的儲存和處理,避免多次打開關閉流耗費計算資源.hdfs提供了兩種類型的容器 SequenceFile和MapFile HDFS和Ma

>>阅读原文<<