Python爬蟲requests庫和Scrapy庫的對比

兩者相同點: 兩者都可以進行頁面請求和爬取,Python爬蟲的兩個重要技術路線。 兩者都沒有處理js,提交表單,應對驗證碼等功能,但是可以擴展。 兩者不同點: 小的項目推薦選擇requests 或者urllib比較簡單靈活。規模比較大的推薦使用Scrapy結構更加清晰。
相關文章
相關標籤/搜索