Hadoop 模擬多通道 MapReduce

  Hadoop C++ Streaming 可以直接讀取壓縮文件，提取其中的日誌。程序流程如下：   每個 map 進程從 stdin 讀取壓縮的日誌文件。產生 3 種不同的記錄，每個記錄一行，寫到 stdout 。每種日誌每行第一個字符不同，用來做日誌種類的區分。 通過這種方式，可以有效地將計算分佈到集羣中不同的進程。因爲： IP 相同的 ip 記錄，一定會被分佈到相同的進程； cookie

>>阅读原文<<