Hadoop的分佈式緩存

一 背景 在執行MapReduce時，可能Mapper之間需要共享一些信息，如果信息量不大，可以將其從HDFS加載到內存中，這就是Hadoop分佈式緩存機制。 二 分佈式緩存的簡單應用 例如，統計一個文本的單詞在另外一個全量文本中是否存在，如果存在統計單詞的數量，下面是Map階段，將全量文本加載到分佈式緩存中。 三 如何使用DistributedCathe 第1步：在main方法中加載共享文件的H

>>阅读原文<<