pyspider爬蟲網頁響應過慢，爬不到數據解決

對於pyspider 這個框架來講優勢就是簡單、易上手。因此好好看官方文檔能解決80%的問題。 最近須要訓練數據，目標頁面較多，通常的寫爬蟲擔憂不能適應。就自學爬蟲框架，爲了儘快使用就從pyspider入手了。 期間遇到請求的網頁數據加載過慢，老是爬到空數據… 看文檔發現self.crawl()函數能夠在回調以前，加載js:web self.crawl(url, fetch_type='js',

>>阅读原文<<