Python網絡爬蟲之requests庫Scrapy爬蟲比較

requests庫Scrapy爬蟲比較 相同點： 都可以進行頁面請求和爬取，Python爬蟲的兩個重要技術路線 兩者可用性都好，文檔豐富，入門簡單。 兩者都沒有處理JS，提交表單，應對驗證碼等功能（可擴展） 想爬取有驗證碼的，換需要學習別的庫知識。 不同點： Scrapy,異步性。可以同時爬取很多。 （但是有些網站，會有反爬取模塊。爬取的太快，反而不好！被發現會被屏蔽IP爬取請求） 非常小的爬取需

>>阅读原文<<