Hadoop Streaming框架之文件分發、數據分割、二次排序

1 使用cacheFile分發文件node 若是文件（如字典文件）存放在HDFS中，但願計算時在每一個計算節點上將文件看成本地文件處理，，可使用-cacheFile hdfs://host:port/path/to/file#linkname選項在計算節點緩存文件，Streaming程序經過./linkname訪問文件。apache 　　例如：緩存 　　 hadoop = `which hadoo

>>阅读原文<<