大數據去除重複--實戰（一）

          最近快過年了，來了一個緊急任務，加班加點的一週，終於上線了。也沒多少時間去研究出去重複數據的算法，上一篇文章的算法，理論是可以的！但是由於我採用的行迭代的方式，JVM 會出現棧的深度溢出，我就換了一種方式，這裏再次介紹給大家：           回顧一下題目：超過內存限制的URL，去除重複數據！               我的方法是根據hashCode 範圍進行分組。比如文

>>阅读原文<<