Nodejs爬蟲進階=>異步併發控制

之前寫了個現在看來很不完美的小爬蟲，很多地方沒有處理好，比如說在知乎點開一個問題的時候，它的所有回答並不是全部加載好了的，當你拉到回答的尾部時，點擊加載更多，回答纔會再加載一部分，所以說如果直接發送一個問題的請求鏈接，取得的頁面是不完整的。還有就是我們通過訪問鏈接下載圖片的時候，是一張一張來下的，如果圖片數量太多的話，真的是會下到你睡完覺它還在下。 這次的的爬蟲是上次那個的升級版，爬蟲代碼在我的g

>>阅读原文<<