python之爬蟲

概述

近年來，隨着網絡應用的逐漸擴展和深刻，如何高效的獲取網上數據成爲了無數公司和我的的追求，在大數據時代，誰掌握了更多的數據，誰就能夠得到更高的利益，而網絡爬蟲是其中最爲經常使用的一種從網上爬取數據的手段。
網絡爬蟲，即Web Spider，是一個很形象的名字。若是把互聯網比喻成一個蜘蛛網，那麼Spider就是在網上爬來爬去的蜘蛛。網絡蜘蛛是經過網頁的連接地址來尋找網頁的。從網站某一個頁面（一般是首頁）開始，讀取網頁的內容，找到在網頁中的其它連接地址，而後經過這些連接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站全部的網頁都抓取完爲止。

爬蟲的價值

互聯網中最有價值的即是數據，好比天貓商城的商品信息，鏈家網的租房信息，雪球網的證券投資信息等等，這些數據都表明了各個行業的真金白銀，能夠說，誰掌握了行業內的第一手數據，誰就成了整個行業的主宰，若是把整個互聯網的數據比喻爲一座寶藏，那咱們的爬蟲課程就是來教你們如何來高效地挖掘這些寶藏，掌握了爬蟲技能， 你就成了全部互聯網信息公司幕後的老闆，換言之，它們都在免費爲你提供有價值的數據。

 

爬蟲學習目錄:

(一) jupyter notebook環境安裝

(二) Python網絡爬蟲相關基礎概念

(三) http和https協議

(四) Python網絡爬蟲之requests模塊一

(五) Python網絡爬蟲之三種數據解析方式

(六) Python網絡爬蟲之requests模塊二

(七) 驗證碼處理

(八) Python網絡爬蟲之圖片懶加載技術、selenium和PhantomJS

(九) 高性能異步爬蟲

(十) scrapy框架簡介和基礎應用

(十一) scrapy框架持久化存儲

(十二) scrapy框架之遞歸解析和post請求

(十三) scrapy框架的日誌等級和請求傳參

(十四) UA池和代理池

(十五) scrapy中selenium的應用

(十六) Python網絡爬蟲之Scrapy框架（CrawlSpider）

(十七) 基於scrapy-redis兩種形式的分佈式爬蟲

(十八) 增量式爬蟲

(十九) Pyppeteer模塊的基本使用

(二十) 移動端數據爬取