爬蟲教程」Python作一個簡單爬蟲，小白也能看懂的教程

俗話說「巧婦難爲無米之炊」，除了傳統的數據源，如歷史年鑑，實驗數據等，很難有更爲簡便快捷的方式得到數據，在目前互聯網的飛速發展寫，大量的數據能夠經過網頁直接採集，「網絡爬蟲」應運而生，本篇將會講解簡單的網絡爬蟲編寫方法。

 

開發環境

每一個人的開發環境各異，下面上是個人開發環境，對於必須的工具，我會加粗。

windows10(操做系統)，pycharm(IDE，固然，用eclipse和sublime都可)，python(這個必須的額，我下面實現的代碼版本是2.7)，BeautifulSoup4、urllib2等。

什麼是爬蟲

爬蟲是自動從互聯網上獲取數據的程序。

下面是一張對簡單爬蟲的結構進行描述的圖，其主體是URL管理器，網頁下載器和網頁解析器。爬蟲調度端指的是對爬蟲發佈指令的端口，人能夠對其進行設置，爬什麼內容，怎麼爬，須要進行什麼其餘的操做等，經過爬蟲，就可以獲得所需的有價值的數據。

下面一張時序圖圖簡單講述了爬蟲的運行流程。從上往下看，調度器訪問URL管理器查看其中因爲可訪問的待爬取的URL，若是返回是即將1個待爬的URL傳給調取器，調度器讓下載器將URL對應的網頁下載下來，返回給調度器，調度器將下載的網頁發給解析器進行解析，解析以後返回到調度器，此時數據已經初步造成，能夠開始進一步的使用。如此循環直到URL管理器爲空或者數據量足夠大。

URL管理器

URL管理器：管理待抓取的URL集合和已抓取URL集合。主要實現下面種功能。

添加新URL到待爬集合中。

判斷待添加URL是否在容器中。

獲取待爬取URL。

判斷是否還有待爬取URL。

將待爬取URL移動到已爬取。

實現方式：

內存：python的set集合

關係數據庫，MySQL,urls(url, is_crawled)

緩存數據庫：redis的set集合

網頁下載器

網頁下載器：將互聯網上URL對應網頁下載到本地的工具。

 

我剛整理了一套2018最新的0基礎入門和進階教程，無私分享，加Python學習q u n ：227-435-450便可獲取，內附：開發工具和安裝包，以及系統學習路線圖python的

網頁下載器

urllib2-python-官方基礎模塊

requests-第三方更強大

urllab2下載器使用方法：

最簡捷方法：直接寫出連接而且請求。

添加data、http helper，data和httphelper能分別爲下載提供更加精確的目標，同時能夠模仿瀏覽器對網頁進行訪問，能攻破一些反爬蟲策略。

添加特殊情景處理器，例如帳號密碼輸入等，有些網站只有在用戶登陸時才能瀏覽，而情景處理器就能模擬這形式。

運行實例：

網頁解析器

網頁解析器：從網頁中提取有價值數據的工具，側面而言，也能看作是整合數據的一個步驟，可是因爲爬取數據複雜度較高，因此不會將太多的數據整合、集成、清洗任務放在這裏，只是進行簡單的整合，成爲數組或者矩陣等而已。

Beautiful Soup

python第三方庫，用於從HTML或者XML中提取數據，有本身的官網，同時還有API文檔。

其下載方式可在API文檔中找到。

用法介紹以下圖所示。BeautifulSoup對象建立以後可以去搜索節點，根據節點名、屬性值或者是節點文字等信息進行查詢，可以達到精確搜索的目的，減小垃圾數據獲取。

舉一個例子，對一個標籤：

能有三種方式搜索

節點名稱：a

節點屬性："href='123.html'，和class=article_link"

節點內容：python

語法使用以下：

下面是具體的案例：