不踩坑的Python爬蟲：如何在一個月內學會爬取大規模數據？新手必學

 

 

Python爬蟲爲何受歡迎

若是你仔細觀察，就不難發現，懂爬蟲、學習爬蟲的人愈來愈多，一方面，互聯網能夠獲取的數據愈來愈多，另外一方面，像 Python這樣的編程語言提供愈來愈多的優秀工具，讓爬蟲變得簡單、容易上手。

利用爬蟲咱們能夠獲取大量的價值數據，從而得到感性認識中不能獲得的信息，
這裏要注意：無論你是爲了Python就業仍是興趣愛好，記住：項目開發經驗永遠是核心，若是你沒有2020最新python入門到高級實戰視頻教程，能夠去小編的Python交流.裙 ：七衣衣九七七巴而五（數字的諧音）轉換下能夠找到了，裏面不少新python教程項目，還能夠跟老司機交流討教！

好比：

知乎：爬取優質答案，爲你篩選出各話題下最優質的內容。 淘寶、京東：抓取商品、評論及銷量數據，對各類商品及用戶的消費場景進行分析。 安居客、鏈家：抓取房產買賣及租售信息，分析房價變化趨勢、作不一樣區域的房價分析。 拉勾網、智聯：爬取各種職位信息，分析各行業人才需求狀況及薪資水平。 雪球網：抓取雪球高回報用戶的行爲，對股票市場進行分析和預測。

爬蟲是入門Python最好的方式，沒有之一。Python有不少應用的方向，好比後臺開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。

掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更駕輕就熟。由於這個過程當中，Python基本語法、庫的使用，以及如何查找文檔你都很是熟悉了。

對於小白來講，爬蟲多是一件很是複雜、技術門檻很高的事情。好比有人認爲學爬蟲必須精通 Python，而後哼哧哼哧系統學習 Python 的每一個知識點，好久以後發現仍然爬不了數據；有的人則認爲先要掌握網頁的知識，遂開始 HTML\CSS，結果入了前端的坑，瘁……

但掌握正確的方法，在短期內作到可以爬取主流網站的數據，其實很是容易實現，但建議你從一開始就要有一個具體的目標。

在目標的驅動下，你的學習纔會更加精準和高效。那些全部你認爲必須的前置知識，都是能夠在完成目標的過程當中學到的。這裏給你一條平滑的、零基礎快速入門的學習路徑。

1.學習 Python 包並實現基本的爬蟲過程 2.瞭解非結構化數據的存儲 3.學習scrapy，搭建工程化爬蟲 4.學習數據庫知識，應對大規模數據存儲與提取 5.掌握各類技巧，應對特殊網站的反爬措施 6.分佈式爬蟲，實現大規模併發採集，提高效率

- ❶ -

學習 Python 包並實現基本的爬蟲過程

大部分爬蟲都是按「發送請求——得到頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了咱們使用瀏覽器獲取網頁信息的過程。

Python中爬蟲相關的包不少：urllib、requests、bs四、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責鏈接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。

若是你用過 BeautifulSoup，會發現 Xpath 要省事很多，一層一層檢查元素代碼的工做，全都省略了。這樣下來基本套路都差很少，通常的靜態網站根本不在話下，豆瓣、糗事百科、騰訊新聞等基本上均可以上手了。

固然若是你須要爬取異步加載的網站，能夠學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的網站也能夠迎刃而解。

- ❷ -

瞭解非結構化數據的存儲

爬回來的數據能夠直接用文檔形式存在本地，也能夠存入數據庫中。

開始數據量不大的時候，你能夠直接經過 Python 的語法或 pandas 的方法將數據存爲csv這樣的文件。

固然你可能發現爬回來的數據並非乾淨的，可能會有缺失、錯誤等等，你還須要對數據進行清洗，能夠學習 pandas 包的基本用法來作數據的預處理，獲得更乾淨的數據。

- ❸ -

學習 scrapy，搭建工程化的爬蟲

掌握前面的技術通常量級的數據和代碼基本沒有問題了，可是在遇到很是複雜的狀況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就很是有用了。

scrapy 是一個功能很是強大的爬蟲框架，它不只能便捷地構建request，還有強大的 selector 可以方便地解析 response，然而它最讓人驚喜的仍是它超高的性能，讓你能夠將爬蟲工程化、模塊化。

學會 scrapy，你能夠本身去搭建一些爬蟲框架，你就基本具有爬蟲工程師的思惟了。

- ❹ -

學習數據庫基礎，應對大規模數據存儲

爬回來的數據量小的時候，你能夠用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。因此掌握一種數據庫是必須的，學習目前比較主流的 MongoDB 就OK。

MongoDB 能夠方便你去存儲一些非結構化的數據，好比各類評論的文本，圖片的連接等等。你也能夠利用PyMongo，更方便地在Python中操做MongoDB。

由於這裏要用到的數據庫知識其實很是簡單，主要是數據如何入庫、如何進行提取，在須要的時候再學習就行。

- ❺ -

掌握各類技巧，應對特殊網站的反爬措施

固然，爬蟲過程當中也會經歷一些絕望啊，好比被網站封IP、好比各類奇怪的驗證碼、userAgent訪問限制、各類動態加載等等。

遇到這些反爬蟲的手段，固然還須要一些高級的技巧來應對，常規的好比訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。

每每網站在高效開發和反爬蟲之間會偏向前者，這也爲爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了。

- ❻ -

分佈式爬蟲，實現大規模併發採集

爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很天然地接觸到一個很厲害的名字：分佈式爬蟲。

分佈式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工做，須要你掌握 Scrapy + MongoDB + Redis 這三種工具。

Scrapy 前面咱們說過了，用於作基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務隊列。

因此有些東西看起來很嚇人，但其實分解開來，也不過如此。當你可以寫分佈式的爬蟲的時候，那麼你能夠去嘗試打造一些基本的爬蟲架構了，實現一些更加自動化的數據獲取。

你看，這一條學習路徑下來，你已然能夠成爲老司機了，很是的順暢。因此在一開始的時候，儘可能不要系統地去啃一些東西，找一個實際的項目（開始能夠從豆瓣、小豬這種簡單的入手），直接開始就好。

由於爬蟲這種技術，既不須要你係統地精通一門語言，也不須要多麼高深的數據庫技術，高效的姿式就是從實際的項目中去學習這些零散的知識點，你能保證每次學到的都是最須要的那部分。

固然惟一麻煩的是，在具體的問題中，如何找到具體須要的那部分學習資源、如何篩選和甄別，是不少初學者面臨的一個大問題。

不過不用擔憂，咱們準備了一門很是系統的爬蟲課程，除了爲你提供一條清晰的學習路徑，咱們甄選了最實用的學習資源以及龐大的主流爬蟲案例庫。短期的學習，你就可以很好地掌握爬蟲這個技能，獲取你想獲得的數據。

通過短期的學習，很多同窗都取得了從0到1的進步，可以寫出本身的爬蟲，爬取大規模數據。下面是幾位同窗的做業合集分享：

爬LOL英雄皮膚高清圖片

@沉默小熊貓

爬取了當前比較火的遊戲壁紙，MOBA遊戲《英雄聯盟》，手遊《王者榮耀》、《陰陽師》，FPS遊戲《絕地求生》，其中《英雄聯盟》的壁紙最難爬取，這裏展現爬取《英雄聯盟》所有英雄壁紙的過程。

先看一下最終爬取的效果，每一個英雄的壁紙都被爬取下來了：

139個英雄壁紙文件夾

「黑暗之女 安妮」的12張壁紙：

小紅帽 安妮 高清大圖

1.爬蟲流程圖

至此對我要爬取的對象已經有了必定的瞭解，對於具體爬取方法也有了想法，能夠設計以下爬蟲流程圖：

2.設計代碼總體框架

根據爬蟲流程圖，我設計了以下代碼框架：

這個代碼框架很是容易讀懂，主要就是run()函數，run()函數完成了這樣一套工做：建立LOL文件夾——得到鍵盤輸入的信息——若信息爲「All」則爬取所有英雄壁紙，不然爬取單個英雄壁紙。

3.爬取全部英雄信息

首先咱們要解析champion.js文件，獲得英雄英文名與id的一一對應關係。

對於官網網站上的全部英雄信息頁面，因爲是用 JavaScript 加載出來的，普通方法並很差爬取，我使用了 Selenium+PhantomJS 的方法來動態加載英雄信息。

解析的英雄信息

4.爬取英雄壁紙

獲得每個英雄的信息後，咱們就能夠開始愉快的爬取它們的壁紙啦~定義get_image(heroid,heroframe) 函數，用於爬取單個英雄的所有壁紙。

運行代碼時注意保持網絡暢通，若是網速太慢可能會爬取失敗。在3兆有線網的網速下爬取所有139個英雄的所有高清壁紙（約一千張圖）大概要3-4分鐘。

《王者榮耀》、《陰陽師》、《絕地求生》等其餘遊戲的壁紙也是一樣道理就能夠爬取了，據我實踐，《英雄聯盟》的爬取難度是最高的，所以將上述過程弄懂了，本身再編寫代碼爬其餘遊戲就易如反掌了。

卡片裏面內容能夠滑動

美團網餐飲商家的信息爬取

@Chenchen

本次對【常州美食】所有美食推薦 進行一次爬蟲實踐，主要想爬取的信息有：餐廳的名稱、餐廳的評分、餐廳評論數、餐廳的地址、人均消費價格……

最終爬下來的數據保存爲CSV以下：

美團使用了反爬蟲機制，要模擬瀏覽器來進行爬取。通過幾回嘗試，發現只對 Cookie 和 User-Agent 進行校驗。

爬到第一組數據

爬到第一組數據以後，接着就是想翻頁的事情。翻頁特別簡單，因而又爬取了商家電話、營業時間等信息。

打包寫個函數

成功地爬到了相應的信息

但好景不長，爬到一半的時候被403了。

由於被封了，咱們只能用無痕方式來訪問了?。看了下，決定採用多個 Cookie 而後隨機調用的方式來避免被封了。最終使用了17個cookie，通過測試，能夠高速爬取不被封。

此次的爬取在這裏結束了，可是爬回來的數據能夠作不少分析，好比在不一樣的地段外賣的狀況，商家的分佈等等。

爬噹噹網各分類全部五星圖書

@ZhuNewNew

此次做業選擇爬取的網站是噹噹網，噹噹有比較多的圖書數據，特別是五星圖書，包含了各個領域最受歡迎的圖書信息，對於尋找有價值的圖書、分析好書的銷售狀況具備必定的價值。

最終爬取的數據以下，總共10000+行數據：

我想爬取的數據是各分類（小說、中小學教輔、文學、成功/勵志……）下面的五星圖書信息（書名、評論數、做者、出版社、出版時間、五星評分次數、價格、電子書價格等等）。

爲了抓各分類下的圖書信息，首先看看點擊各分類的時候，連接是否發生變化。通過測試，在不一樣的分類，連接都是不同的，事實證實不是JS加載。

打印以後正常返回數據

到這裏基本能夠知道，噹噹網的反爬確實不嚴格，我甚至尚未設置Headers的信息，居然也能夠爬取到想要的數據。但最後在完整的代碼中，仍是把headers加上了，保險起見吧。

接下來就是分別爬取每一個分類下的圖書信息，以「小說」爲例，其實翻頁特別簡單，給幾個比較以下：

翻頁也很是簡單，只不過有一點點坑的是，爬回來的連接在代碼中，須要對其翻頁，就須要把連接構造出來。對返回來的連接進行分析，發現僅僅是中間有四個數字不同。因而我把這幾個數據取出來，在鏈接中傳進去，這樣能夠構造通用的連接。

構造的翻頁連接

接下來就是去抓取不一樣頁面的信息，沒有異步加載，因此直接用xpath定位就OK。固然中間有一些小地方須要注意的是，每本書所包含的信息是不同的，因此用xpath去獲取的時候不必定能獲取到，就會出錯。因而用到try……except語句。

最後總共爬到10000多行數據，對應不一樣領域的10000多本高評分的書籍，固然會有一些重複計算，好比小說和文學，就有很多書是同時在這兩個類目的。

噹噹網自己沒有什麼反爬機制，因此爬取也比較順利。惟一的小麻煩就是抓回來的連接繼續翻頁和其中一些書籍中部分信息缺失的處理。

爬拉勾網職位信息

@楠生

原本就想從事「數據分析師」這個崗位，因此就想了解這個崗位的薪資、要求、以及在我所生活城市的主要分佈點，而拉勾網是權威的互聯網行業招聘平臺，因此爬取拉勾網上的「數據分析師」職位信息有很好的表明性。

最終爬到的數據存在MongoDB中以下：

學習翻頁的時候把引號添上運行時報了JSONDecodeError的錯，本人被引號折騰了許久，分享出來但願你們引覺得戒。

踩了兩個坑以後，就開始作課後做業了，沒想到對於一個新手來講困難一茬茬。開始個人思路是找鏈接，可是採集的數據裏沒有鏈接，因此就點擊進入詳情頁面，看有什麼規律沒？而後就嘗試着屢次點擊各詳情頁面，發現頁面的數字和採集的某個數據能匹配。例如：

某個詳情頁面

找到突破口就開始行動：

DOC

request url\request method

屢次嘗試（仍是費了一些時間）：request url和網址是同樣的，那突破口就算找到，數據是DOC格式，request method :get,那就是又回到了熟悉的戰場了。

思路：遍歷positionId，用format,如：

詳情網頁

xpath方法獲取數據

部分數據：

一次次嘗試，優化後的代碼，這個主要是學習和創做的過程（爬取詳情頁面是個人傑做)。

- 高效的學習路徑 -

一上來就講理論、語法、編程語言是很是不合理的，咱們會直接從具體的案例入手，經過實際的操做，學習具體的知識點。咱們爲你規劃了一條系統的學習路徑，讓你再也不面對零散的知識點。

說點具體的，好比咱們會直接用 lxml+Xpath取代 BeautifulSoup 來進行網頁解析，減小你沒必要要的檢查網頁元素的操做，多種工具都能完成的，咱們會給你最簡單的方法，這些看似細節，但多是不少人都會踩的坑。

《Python爬蟲：入門+進階》大綱

第一章：Python 爬蟲入門

一、什麼是爬蟲

網址構成和翻頁機制

網頁源碼結構及網頁請求過程

爬蟲的應用及基本原理

二、初識Python爬蟲

Python爬蟲環境搭建

建立第一個爬蟲：爬取百度首頁

爬蟲三步驟：獲取數據、解析數據、保存數據

三、使用Requests爬取豆瓣短評

Requests的安裝和基本用法

用Requests 爬取豆瓣短評信息

必定要知道的爬蟲協議

四、使用Xpath解析豆瓣短評

解析神器Xpath的安裝及介紹

Xpath的使用：瀏覽器複製和手寫

實戰：用 Xpath 解析豆瓣短評信息

五、使用pandas保存豆瓣短評數據

pandas 的基本用法介紹

pandas文件保存、數據處理

實戰：使用pandas保存豆瓣短評數據

六、瀏覽器抓包及headers設置（案例一：爬取知乎）

爬蟲的通常思路：抓取、解析、存儲

瀏覽器抓包獲取Ajax加載的數據

設置headers 突破反爬蟲限制

實戰：爬取知乎用戶數據

七、數據入庫之MongoDB（案例二：爬取拉勾）

MongoDB及RoboMongo的安裝和使用

設置等待時間和修改信息頭

實戰：爬取拉勾職位數據

將數據存儲在MongoDB中

補充實戰：爬取微博移動端數據

八、Selenium爬取動態網頁（案例三：爬取淘寶）

動態網頁爬取神器Selenium搭建與使用

分析淘寶商品頁面動態信息

實戰：用Selenium 爬取淘寶網頁信息

第二章：Python爬蟲之Scrapy框架

一、爬蟲工程化及Scrapy框架初窺

html、css、js、數據庫、http協議、先後臺聯動

爬蟲進階的工做流程

Scrapy組件：引擎、調度器、下載中間件、項目管道等

經常使用的爬蟲工具：各類數據庫、抓包工具等

二、Scrapy安裝及基本使用

Scrapy安裝

Scrapy的基本方法和屬性

開始第一個Scrapy項目

三、Scrapy選擇器的用法

經常使用選擇器：css、xpath、re、pyquery

css的使用方法

xpath的使用方法

re的使用方法

pyquery的使用方法

四、Scrapy的項目管道

Item Pipeline的介紹和做用

Item Pipeline的主要函數

實戰舉例：將數據寫入文件

實戰舉例：在管道里過濾數據

五、Scrapy的中間件

下載中間件和蜘蛛中間件

下載中間件的三大函數

系統默認提供的中間件

六、Scrapy的Request和Response詳解

Request對象基礎參數和高級參數

Request對象方法

Response對象參數和方法

Response對象方法的綜合利用詳解

第三章：Python爬蟲進階操做

一、網絡進階之谷歌瀏覽器抓包分析

http請求詳細分析

網絡面板結構

過濾請求的關鍵字方法

複製、保存和清除網絡信息

查看資源發起者和依賴關係

二、數據入庫之去重與數據庫

數據去重

數據入庫MongoDB

第四章：分佈式爬蟲及實訓項目

一、大規模併發採集——分佈式爬蟲的編寫

分佈式爬蟲介紹

Scrapy分佈式爬取原理

Scrapy-Redis的使用

Scrapy分佈式部署詳解

二、實訓項目（一）——58同城二手房監控

三、實訓項目（二）——去哪兒網模擬登錄

四、實訓項目（三）——京東商品數據抓取

- 每課都有學習資料 -

你可能收集了以G計的的學習資源，但保存後歷來沒打開過？咱們已經幫你找到了最有用的那部分，而且用最簡單的形式描述出來，幫助你學習，你能夠把更多的時間用於練習和實踐。

考慮到各類各樣的問題，咱們在每一節都準備了課後資料，包含四個部分：

1.課程重點筆記，詳細闡述重點知識，幫助你理解和後續快速複習；

2.默認你是小白，補充全部基礎知識，哪怕是軟件的安裝與基本操做；

3.課內外案例提供參考代碼學習，讓你輕鬆應對主流網站爬蟲；

4.超多延伸知識點和更多問題的解決思路，讓你有能力去解決實際中遇到的一些特殊問題。

某節部分課後資料

- 超多案例，覆蓋主流網站 -

課程中提供了目前最多見的網站爬蟲案例：豆瓣、百度、知乎、淘寶、京東、微博……每一個案例在課程視頻中都有詳細分析，老師帶你完成每一步操做。

另外，咱們還會補充好比小豬、鏈家、58同城、網易雲音樂、微信好友等案例，提供思路與代碼。

屢次的模仿和練習以後，你能夠很輕鬆地寫出本身的爬蟲代碼，並可以輕鬆爬取這些主流網站的數據。

- 技能拓展：反爬蟲及數據存儲、處理 -

懂得基本的爬蟲是遠遠不夠的，因此咱們會用實際的案例，帶你瞭解一些網站的反爬蟲措施，而且用具體的技術繞過限制。好比異步加載、IP限制、headers限制、驗證碼等等，這些比較常見的反爬蟲手段，你均可以很好地規避。

工程化的爬蟲、及分佈式爬蟲技術，讓你有獲取大規模數據的可能。除了爬蟲的內容，你還將瞭解數據庫（Mongodb）、pandas 的基本知識，幫你存儲爬取的數據，同時能夠對數據進行管理和清洗，你能夠得到更乾淨的數據，以便後續的分析和處理。

用 Scrapy 爬取租房信息

爬取拉勾招聘數據並用 MongoDB 存儲  最後注意無論你是爲了Python就業仍是興趣愛好，記住：項目開發經驗永遠是核心，若是你沒有2020最新python入門到高級實戰視頻教程，能夠去小編的Python交流.裙 ：七衣衣九七七巴而五（數字的諧音）轉換下能夠找到了，裏面不少新python教程項目，還能夠跟老司機交流討教！

本文的文字及圖片來源於網絡加上本身的想法,僅供學習、交流使用,不具備任何商業用途,版權歸原做者全部,若有問題請及時聯繫咱們以做處理。