關於「消重」問題的解決，從管道到並行

消重，簡單說就是把一個序列中重複的元素消除掉，輸出的結果中每個元素都是唯一的。比如： [1,2,1,3,2] 經過消重後，結果是： [1,2,3] 看上去這個問題好像非常簡單無聊，但是實際工作中卻經常能遇到，比如對web訪問日誌的來源ip ，或者訪問頁面進行消重統計，等等。 今天在一個Python討論羣裏面，有個人提了一個問題： 有上億甚至幾十億個的數字，如何得到消重後的列表？ 正好，就着這個實際

>>阅读原文<<