python簡單爬蟲

　　爬蟲真是一件有意思的事兒啊，以前寫過爬蟲，用的是urllib二、BeautifulSoup實現簡單爬蟲，scrapy也有實現過。最近想更好的學習爬蟲，那麼就儘量的作記錄吧。這篇博客就我今天的一個學習過程寫寫吧。

一  正則表達式

　　正則表達式是一個很強大的工具了，衆多的語法規則，我在爬蟲中經常使用的有：

.	匹配任意字符（換行符除外）
*	匹配前一個字符0或無限次
?	匹配前一個字符0或1次
.*	貪心算法
.*?	非貪心算法
（.*?)	將匹配到的括號中的結果輸出
\d	匹配數字
re.S	使得.能夠匹配換行符

　　經常使用的方法有：find_all()，search()，sub()

　　對以上語法方法作以練習，代碼見：https://github.com/Ben0825/Crawler/blob/master/re_test.py

 

二  urllib和urllib2

　　urllib和urllib2庫是學習Python爬蟲最基本的庫，利用該庫，咱們能夠獲得網頁的內容，同時，能夠結合正則對這些內容提取分析，獲得真正想要的結果。

　　在此將urllib和urllib2結合正則爬取了糗事百科中的做者點贊數內容。

　　代碼見：https://github.com/Ben0825/Crawler/blob/master/qiubai_test.py

 

三 BeautifulSoup

　　BeautifulSoup是Python的一個庫，最主要的功能是從網頁抓取數據，官方介紹是這樣的：
　　Beautiful Soup 提供一些簡單的、python 式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱,經過解析文檔爲用戶提供須要抓取的數據,由於簡單,因此不須要多少代碼就能夠寫出一個完整的應用程序。
　　Beautiful Soup 自動將輸入文檔轉換爲 Unicode 編碼,輸出文檔轉換爲 utf-8 編碼。你不須要考慮編碼方式,除非文檔沒有指定一個編碼方式,這時,Beautiful Soup 就不能自動識別編碼方式了。而後,你僅僅須要說明一下原始編碼方式就能夠了。
　　Beautiful Soup 已成爲和 lxml、html6lib 同樣出色的 python 解釋器,爲用戶靈活地提供不一樣的解析策略或強勁的速度。

　　首先：爬取百度百科Python詞條下相關的100個頁面，爬取的頁面值本身設定。

　　代碼詳見：https://github.com/Ben0825/Crawler/tree/master/python_baike_Spider

　　代碼運行：

　　

　　　　　　　

　　鞏固篇，依據豆瓣中圖書的標籤獲得一個書單，一樣使用BeautifulSoup。

　　代碼詳見：https://github.com/Ben0825/Crawler/blob/master/doubanTag.py

　　運行結果：　　

 

　　　以上就是今天學習的一些內容，爬蟲真的頗有意思啊，明天繼續學scrapy!