201806 數據處理 SQL、python、shell 哪家強...速度PK（上篇）

最近在工作中，進行大量的數據處理，使用的是mysql5.7.22，發現當數據量級達到幾十萬之後，SQL執行速度明顯變慢。尤其是當多個表join時，於是就嘗試用python pandas進行數據處理，發現運行速度明顯比SQL運行速度快。於是，決定比較一下千萬數據量級之下，SQL、pandas、shell在數據處理上的優劣勢。 配置：ubuntu系統64位，8G內存，intel i7處理器 軟件環境：

>>阅读原文<<