[Hadoop]MapReduce中的InputSplit

在查看數據塊的如何處理之前,我們需要更仔細地瞭解Hadoop如何存儲數據。在Hadoop中,文件由一個一個的記錄組成,最終由mapper任務一個一個的處理。 例如,示例數據集包含有關1987至2008年間美國境內已完成航班的信息。如果要下載數據集可以打開如下網址: http://stat-computing.org/dataexpo/2009/the-data.html 。每一年都會生成一個大文件
相關文章
相關標籤/搜索