【python 處理億級數據】使用 Pandas 處理億級數據

此前有一篇文章《別老扯什麼Hadoop了，你的數據根本不夠大》指出：只有在超過5TB數據量的規模下，Hadoop纔是一個合理的技術選擇。事實確實如此，在數據分析領域，那麼如何處理億級數據呢，pandas提供了IO工具能夠將大文件分塊讀取，測試了一下性能,很是不錯。可謂是瑞士中的軍刀python python 讀取億級數據代碼以下：web # encoding: utf-8 import sys r

>>阅读原文<<