MapReduce的join操做,代碼實現

MapJoin MapJoin主要適用於一個大表和小表的關聯,若是兩張都是大表則會形成數據讀取混亂,不適合用MapJoin處理。 MapJoin處理原理:將小表讀入到內存中,而後用map方法將大表中的數據一一讀取,並和內存中的小表進行數據匹配。由於是在map環節中進行了join操做,因此此作法能夠有效提升reduce的運行效率。 兩張表: 物品類型表: 物品表: 我這裏是新建的Excel表,最後保
相關文章
相關標籤/搜索