黑猴子的家:MapReduce Map端表合併(Distributedcache)案例二

1、分析 適用於關聯表中有小表的情形; 可以將小表分發到所有的map節點,這樣,map節點就可以在本地對自己所讀到的大表數據進行合併並輸出最終結果,可以大大提高合併操作的併發度,加快處理速度。 2、先在驅動模塊中添加緩存文件 import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.had
相關文章
相關標籤/搜索