想到開頭,沒想到結尾系利——MapReduce自定義分區策略,序列化相關的坑

有需求實現按手機號所屬省份劃分來對用戶進行劃分,相同省份的用戶打印在同一文件中,想到可以使用MapReduce的自定義分區策略來實現,大致思路是獲取手機號,獲取數據庫手機號號段--省份--省份編號對應關係,查詢手機號查詢對應關係,把省份編號作爲分區編號即:Tasks編號,修改下面算法即可: p_Id=hash(userPhoneNumber)%TasksNum. 然而想到開頭,沒想到結尾,卻入序列
相關文章
相關標籤/搜索