採用multiprocessing多進程進行數據計算的時候內存飈升,這整體能夠說是multiprocessing的一個「bug」致使;python
大體緣由以下:進程
multiprocessing.Process 每啓動一個進程都會對當前進程內存進行一次拷貝;ip
能夠採用multiprocessing.Process所有聲明完的時候再去加載「原始數據」,這樣,fork 進程的時候內存就沒有「原始數據」;內存
能夠參考以下地址:io
https://stackoverflow.com/questions/14749897/python-multiprocessing-memory-usage多進程