爬蟲系統入門知識點

Python學習網絡爬蟲主要分3個大的版塊：抓取，分析，存儲 抓取 這一步，你要明確要得到的內容是什麼？是HTML源碼，還是Json格式的字符串等。 1. 最基本的抓取 抓取大多數情況屬於get請求，Python中自帶urllib及urllib2這兩個模塊，基本上能滿足一般的頁面抓取。另外，requests也是非常有用的包，與此類似的，還有httplib2等等。   此外，對於帶有查詢字段的url

>>阅读原文<<