Python爬蟲開發的3大難題，別上了賊船才發現，水有多深

寫爬蟲，是一個很是考驗綜合實力的活兒。有時候，你垂手可得地就抓取到了想要的數據；有時候，你費盡心思卻毫無所獲。

好多Python爬蟲的入門教程都是一行代碼就把你騙上了「賊船」，等上了賊船才發現，水好深～ 好比爬取一個網頁能夠是很簡單的一行代碼：

r = requests.get('http://news.baidu.com')

很是的簡單，但它的做用也僅僅是爬取一個網頁，而一個有用的爬蟲遠遠不止於爬取一個網頁。

一個有用的爬蟲，只需兩個詞來衡量：

• 數量：可否抓全全部該類數據
• 效率：抓完全部數據須要多久一天仍是一個月

但要作到這兩個詞，倒是要下不少功夫。本身下功夫是一方面，也很重要的是你要抓全的目標網站給你出了多少難題。綜合起來，就寫一個爬蟲有多少難度。

網絡爬蟲難度一：只需爬取html網頁但要上規模

這裏咱們舉個新聞爬蟲的例子。你們都用過百度的新聞搜索吧，我就拿它的爬蟲來說講實現上的難度。

新聞網站基本上不設防，新聞內容都在網頁的html代碼裏了，抓全一個網頁基本上就是一行的事情。彷佛聽上去很簡單，但對於一個搜索引擎級的爬蟲，就不那麼簡單了，要把幾千幾萬家新聞網站的新聞都及時抓取到也不是一件容易的事情。

咱們先看看新聞爬蟲的簡單流程圖：

從一些種子網頁開始，種子網頁每每是一些新聞網站的首頁，爬蟲抓取網頁，從中提取網站URL放到網址池再進行抓取。這樣就從幾個網頁開始，不斷擴展到其它網頁。爬蟲抓取的網頁也愈來愈多，提取出的新網網址也會成幾何級數增加。

如何能在最短期抓取更多網址？

這就是其中一個難度，這不是目標網址帶來的，而是對咱們自身自願的考驗：

• 咱們的帶寬夠嗎
• 咱們的服務器夠嗎，單臺不夠就要分佈式

如何能及時抓取到最新的新聞？

這是效率以外的另外一個難度，如何保證及時性？幾千家新聞網站，時刻都在發佈最新新聞，爬蟲在織網式抓取「舊」新聞的同時，如何兼顧獲取「新」新聞呢？

如何存儲抓取到的海量新聞？

爬蟲織網式的爬取，會把每一個網站幾年前幾十年前的新聞網頁都給翻出來，從而得到海量的網頁須要存儲。就是存儲上的難度。

如何清理提取網內容？

重新聞網頁的html裏面快速、準確提取想要的信息數據，好比標題、發佈時間、正文內容等，這又帶來內容提取上的難度。

網絡爬蟲難度二：須要登陸才能抓到想要的數據

人是貪婪的，想要的數據無窮盡，可是不少數據不是你輕易就能夠得到的。有一大類數據就是須要帳戶登陸後才能看到，也就是說，爬蟲請求時必須是登陸狀態才能抓取數據。

如何獲取登陸狀態？

前面已經說過了，http協議的性質決定了登陸狀態就是一些cookies，那麼如何得到登陸狀態就是一個很是有難度的問題。 有些網站登陸過程很簡單，把帳戶、密碼發給服務器，服務器驗證經過返回表示已登陸的cookies。這樣的網站，比較容易實現自動登陸，爬蟲運行過程全程無需人工干預，你就有更多時間喝茶、聊天

如何處理驗證碼?

然而，網站們既然要求你登陸了，他們就不會這麼輕易放過你，要作的更絕才能讓小猿們善罷甘休，那就是上驗證碼！ 沒錯，就是變態的驗證碼！！做爲見多識廣的老猿，我仍是常常識別不出驗證碼，慚愧慚愧。

聽說，有人僱了一批大媽，進行人工識別驗證碼；也有，經過圖像處理技術，尤爲現在火熱的深度學習、人工智能的技術，來自動識別驗證碼。

那麼，當你寫爬蟲時遇到驗證碼該怎麼辦？

網絡爬蟲難度三：ajax異步加載甚至JavaScript解密

前面的兩個難度，都是靠咱們研究數據加載過程，而後用Python代碼能夠重現出來，進行抓取的。

而遇到達第三個難度時，研究數據加載過程會讓你十分痛苦、近乎崩潰。異步加載流程和服務器來來回回好屢次，最後獲得的數據還要經過JavaScript解密才能看到，這都是壓垮爬蟲者的最後一根稻草。