Python數據預處理:使用Dask和Numba並行化加速

如果你善於使用Pandas變換數據、創建特徵以及清洗數據等,那麼你就能夠輕鬆地使用Dask和Numba並行加速你的工作。單純從速度上比較,Dask完勝Python,而Numba打敗Dask,那麼Numba+Dask基本上算是無敵的存在。將數值計算分成Numba sub-function和使用Dask map_partition+apply,而不是使用Pandas。對於100萬行數據,使用Panda
相關文章
相關標籤/搜索