Node爬蟲之使用 async 控制併發

上文 《Node爬蟲之使用 eventproxy 控制併發》咱們說到用 node 爬了csdn首頁數據，可是這些請求徹底是併發的，若是某些網站有 「反爬」 機制，就頗有可能封鎖你的 IP。這樣的狀況下咱們就能夠使用 async 模塊。主要用到的是 async 的 mapLimit(arr, limit, iterator, callback)接口。node async.mapLimit(arr,

>>阅读原文<<