Python網絡爬蟲之requests庫Scrapy爬蟲比較

requests庫Scrapy爬蟲比較 相同點： 均可以進行頁面請求和爬取，Python爬蟲的兩個重要技術路線 二者可用性都好，文檔豐富，入門簡單。 二者都沒有處理JS，提交表單，應對驗證碼等功能（可擴展） 想爬取有驗證碼的，換須要學習別的庫知識。web 不一樣點： Scrapy,異步性。能夠同時爬取不少。框架 （可是有些網站，會有反爬取模塊。爬取的太快，反而很差！被發現會被屏蔽IP爬取請求） 很

>>阅读原文<<