Hive、MapReduce、Spark分佈式生成唯一數值型ID

在實際業務場景下，經常會遇到在Hive、MapReduce、Spark中需要生成唯一的數值型ID。 一般常用的做法有： MapReduce中使用1個Reduce來生成； Hive中使用row_number分析函數來生成，其實也是1個Reduce； 藉助HBase或Redis或Zookeeper等其它框架的計數器來生成； 數據量不大的情況下，可以直接使用1和2方法來生成，但如果數據量巨大，1個Red

>>阅读原文<<