十個Python爬蟲武器庫示例，十個爬蟲框架，十種實現爬蟲的方法！

  一般比價小型的爬蟲需求，我是直接使用requests庫 + bs4就解決了，再麻煩點就使用selenium解決js的異步 加載問題。相對比較大型的需求才使用框架，主要是便於管理以及擴展等。 1.Scrapy Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。 特性： 在這裏還是要推薦下我自己建的Python開發

>>阅读原文<<