實戰（一）之使用自帶urllib和re正則表達式獲取電影詳情頁連接

1、關於urllib庫

網上urllib庫的教程文章很是多並且詳細具體，我就不過多敘述和重複了，我的更加傾向於將精力放在實戰上，而不是反反覆覆拷貝教程（實際上是由於我懶），來幾篇乾貨參考。

python2:

1. Python爬蟲入門三之Urllib庫的基本使用
2. Python爬蟲入門四之Urllib庫的高級用法

python3:

3.python爬蟲從入門到放棄（三）之 Urllib庫的基本使用

正則表達式re:

1.菜鳥教程--python正則表達式

2.python爬蟲從入門到放棄（五）之 正則的基本使用

2、思路：

以爬取www.ygdy8.com這個電影下載網站爲例子。

1.打開瀏覽器，搜狗或者chrome均可以，訪問該網站，以爬取最新電影這個欄目的電影爲例，咱們能夠找到這個板塊首頁的url爲： http://www.ygdy8.com/html/gndy/dyzz/index.html， 再點擊下一頁，會發現頁碼的url爲 http://www.ygdy8.com/html/gndy/dyzz/list_23_2.html， 由此可知，每一頁的url爲： http://www.ygdy8.com/html/gndy/dyzz/list_23_+頁數.html

2.在將鼠標移動到電影名字上右鍵，審查元素，這裏易會發現電影詳情頁的連接爲****

將鼠標移動到末頁字眼右鍵，審查元素，這裏會發現總共有167頁。

3.根據上面的分析查找，基本能夠按照這樣的思路進行爬取了。

1.先請求index最新電影板塊首頁，獲取到最大的頁數。 2.循環構造頁碼連接，請求獲取全部的帶有電影列表的頁面。 3.在獲取到頁面基礎上，得到電影列表的全部電影詳情頁連接，爲下一步提取電影的標題，迅雷連接作準備。

3、開始動手

一、構造一個urllib請求頁面的opener，儘可能模仿瀏覽器，減小被禁的風險。

# -*- coding:utf-8 -*-
#!/usr/bin python
import urllib.request
import re
import time
import random
from decorator import fun_timer

#構建一個模仿瀏覽器的opener
base_url = 'http://www.ygdy8.com'
#瀏覽器請求頭，這裏用的是搜狗瀏覽器
user_agents=[('User-Agent','Mozilla/5.0(Macintosh;U;IntelMacOSX10_6_8; en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50'), ]
    Headers = [ random.choice(user_agents),
            ("Connection","keep-alive") ]
    #構建opener
opener = urllib.request.build_opener()
    #添加請求頭
opener.addheaders=Headers
複製代碼

二、構造請求首頁，獲取最大頁碼數的方法。

# 一、獲取最大的頁碼數
# 二、你能夠到頁面查看最大頁碼數，可是頁碼數是會不斷增長的，
      #若是你要自動化反覆去爬取，就須要進行頁碼數的自動獲取。

def get_pageNum():
    url = "http://www.ygdy8.com/html/gndy/dyzz/index.html"
    data = opener.open(url).read()
   #上面的分析已經知道頁碼的連接是以 list_23_頁數.html結尾的，能夠匹配正則表達式來查找。
    res = re.findall(r'list\_23\_[0-9]*', str(data))
    if res:
        page_num = res[-1].split("_")[-1]
        print('獲取到頁碼數%s'%page_num)
        return int(page_num)

複製代碼

三、知道頁數後，就能夠循環構造連接進行爬取了。

#根據頁數爬取每頁的電影列表
def find_by_page(page = 1):
    if page%10==0:
       #每隔10頁進行延時，防止ip被禁
        time.sleep(random.randint(1,3))
    url = "http://www.ygdy8.com/html/gndy/dyzz/list_23_%s.html" % (str(page))
    data = opener.open(url).read()

# 正則表達式獲取連接
#由於頁面的左側會有其餘類別電影板塊的外鏈，因此要先定位到class爲co_content8的目標板塊，
       #再獲取板塊裏的全部連接。

    res = re.findall(r'class\=\"co\_content8\"[\s\S]*\<\/ul\>', str(data))[0]
    res = re.findall(r'\/html\/gndy[/a-z]+[0-9/]{1,}\.html', str(res))
    urls = [base_url + url for url in res]
    print('爬取第%s頁: '%page+str(urls))
    return urls


#彙總全部的列表，上面的函數是每頁返回一個電影詳情頁連接列表

def get_urls(pages=1):
    all_url = []
    for page in range(1,pages+1):
         for r in find_by_page(page):
                 all_url.append(r)
    #去重
    all_url= set(all_url)
    print('獲取到%s條連接'%len(all_url))
    return all_url
複製代碼

四、最後開始爬取並輸出到TXT文件上。

if __name__ == "__main__":
    out = ''
    for url in get_urls(get_pageNum()):
        url = str(url)+'\n'
        out= out+url
    with open('all_urls.txt','w') as f:
        f.write(out)


複製代碼

4、總結

其實總結起來，簡單小規模的爬蟲無非就是分析頁面---請求頁面--獲取目標元素--保存等若干步驟，可是真正動起手來，就會遇到各類問題，解決問題也是一個進步的過程。 解決ip被禁有不少種途徑，例如使用代理ip，模擬登錄，隨機延時請求，本次我是簡單粗暴地每隔10頁進行隨機的延時。 這樣咱們獲取到全部目標電影的詳情頁連接，下一步就是進行詳情頁的分析爬取了，這涉及到動態加載頁面的爬取，將放到後面幾篇分享哈，下一篇，將介紹使用第三方庫requests庫和xpath匹配爬取詳情頁連接喲。