Python Spider

1、網絡爬蟲

      網絡爬蟲又被稱爲網絡蜘蛛（🕷️），咱們能夠把互聯網想象成一個蜘蛛網，每個網站都是一個節點，咱們能夠使用一隻蜘蛛去各個網頁抓取咱們想要的資源。舉一個最簡單的例子，你在百度和谷歌中輸入‘Python'，會有大量和Python相關的網頁被檢索出來，百度和谷歌是如何從海量的網頁中檢索出你想要的資源，他們靠的就是派出大量蜘蛛去網頁上爬取，檢索關鍵字，創建索引數據庫，通過複雜的排序算法，結果按照搜索關鍵字相關度的高低展示給你。

     千里之行，始於足下，咱們從最基礎的開始學習如何寫一個網絡爬蟲，實現語言使用Python。

2、Python如何訪問互聯網

      想要寫網絡爬蟲，第一步是訪問互聯網，Python如何訪問互聯網呢？

      在Python中，咱們使用urllib包訪問互聯網。（在Python3中，對這個模塊作了比較大的調整，之前有urllib和urllib2,在3中對這兩個模塊作了統一合併，稱爲urllib包。包下面包含了四個模塊，urllib.request，urllib.error，urllib.parse，urllib.robotparser），目前主要使用的是urllib.request。

      咱們首先舉一個最簡單的例子，如何獲取獲取網頁的源碼：

import urllib.request
response = urllib.request.urlopen('https://docs.python.org/3/')
html = response.read()
print(html.decode('utf-8'))

3、Python網絡簡單使用

       首先咱們用兩個小demo練一下手，一個是使用python代碼下載一張圖片到本地，另外一個是調用有道翻譯寫一個翻譯小軟件。

       3.1根據圖片連接下載圖片，代碼以下：

import urllib.request

response = urllib.request.urlopen('http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg')
image = response.read()

with open('123.jpg','wb') as f:
    f.write(image)

       其中response是一個對象

       輸入：response.geturl()

       ->'http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg'
       輸入：response.info()

       -><http.client.HTTPMessage object at 0x10591c0b8>

       輸入：print(response.info())

       ->Content-Type: text/html
           Last-Modified: Mon, 27 Sep 2004 01:23:20 GMT
           Accept-Ranges: bytes
           ETag: "0f4b59230a4c41:0"
           Server: Microsoft-IIS/8.0
           Date: Sun, 14 Aug 2016 07:16:01 GMT
           Connection: close

           Content-Length: 2827

       輸入：response.getcode()

       ->200

       3.1使用有道詞典實現翻譯功能

            咱們想實現翻譯功能，咱們須要拿到請求連接。首先咱們須要進入有道首頁，點擊翻譯，在翻譯界面輸入要翻譯的內容，點擊翻譯按鈕，就會向服務器發起一個請求，咱們須要作的就是拿到請求地址和請求參數。

            我在此使用谷歌瀏覽器實現拿到請求地址和請求參數。首先點擊右鍵，點擊檢查（不一樣瀏覽器點擊的選項可能不一樣，同一瀏覽器的不一樣版本也可能不一樣），進入圖一所示，從中咱們能夠拿到請求請求地址和請求參數，在Header中的Form Data中咱們能夠拿到請求參數。

 

 （圖一）

代碼段以下：

import urllib.request
import urllib.parse

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'
data = {}
data['type'] = 'AUTO'
data['i'] = 'i love you'
data['doctype'] = 'json'
data['xmlVersion'] = '1.8'
data['keyfrom'] = 'fanyi.web'
data['ue'] = 'UTF-8'
data['action'] = 'FY_BY_CLICKBUTTON'
data['typoResult'] = 'true'
data = urllib.parse.urlencode(data).encode('utf-8')
response = urllib.request.urlopen(url,data)
html = response.read().decode('utf-8')
print(html)

      上述代碼執行以下：

         {"type":"EN2ZH_CN","errorCode":0,"elapsedTime":0,"translateResult":[[{"src":"i love you","tgt":"我愛你"}]],"smartResult":{"type":1,"entries":["","我愛你。"]}}

      對於上述結果，咱們能夠看到是一個json串，咱們能夠對此解析一下，而且對代碼進行完善一下：

import urllib.request
import urllib.parse
import json

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'
data = {}
data['type'] = 'AUTO'
data['i'] = 'i love you'
data['doctype'] = 'json'
data['xmlVersion'] = '1.8'
data['keyfrom'] = 'fanyi.web'
data['ue'] = 'UTF-8'
data['action'] = 'FY_BY_CLICKBUTTON'
data['typoResult'] = 'true'
data = urllib.parse.urlencode(data).encode('utf-8')
response = urllib.request.urlopen(url,data)
html = response.read().decode('utf-8')
target = json.loads(html)
print(target['translateResult'][0][0]['tgt'])

 

4、規避風險

       服務器檢測出請求不是來自瀏覽器，可能會屏蔽掉請求，服務器判斷的依據是使用‘User-Agent',咱們能夠修改改字段的值，來隱藏本身。代碼以下：

import urllib.request
import urllib.parse
import json

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'
data = {}
data['type'] = 'AUTO'
data['i'] = 'i love you'
data['doctype'] = 'json'
data['xmlVersion'] = '1.8'
data['keyfrom'] = 'fanyi.web'
data['ue'] = 'UTF-8'
data['action'] = 'FY_BY_CLICKBUTTON'
data['typoResult'] = 'true'
data = urllib.parse.urlencode(data).encode('utf-8')
req = urllib.request.Request(url, data)
req.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')
response = urllib.request.urlopen(url, data)
html = response.read().decode('utf-8')
target = json.loads(html)
print(target['translateResult'][0][0]['tgt'])

View Code

       上述作法雖然能夠隱藏本身，可是還有很大問題，例如一個網絡爬蟲下載圖片軟件，在短期內大量下載圖片，服務器能夠能夠根據IP訪問次數判斷是不是正常訪問。全部上述作法還有很大的問題。咱們能夠經過兩種作法解決辦法，一是使用延遲，例如5秒內訪問一次。另外一種辦法是使用代理。

      延遲訪問（休眠5秒，缺點是訪問效率低下）：

import urllib.request
import urllib.parse
import json
import time


while True:
    content = input('please input content(input q exit program):')
    if content == 'q':
        break;

    url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'
    data = {}
    data['type'] = 'AUTO'
    data['i'] = content
    data['doctype'] = 'json'
    data['xmlVersion'] = '1.8'
    data['keyfrom'] = 'fanyi.web'
    data['ue'] = 'UTF-8'
    data['action'] = 'FY_BY_CLICKBUTTON'
    data['typoResult'] = 'true'
    data = urllib.parse.urlencode(data).encode('utf-8')
    req = urllib.request.Request(url, data)
    req.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')
    response = urllib.request.urlopen(url, data)
    html = response.read().decode('utf-8')
    target = json.loads(html)
    print(target['translateResult'][0][0]['tgt'])
    time.sleep(5)

View Code

      代理訪問：讓代理訪問資源，而後講訪問到的資源返回。服務器看到的是代理的IP地址，不是本身地址，服務器就沒有辦法對你作限制。

      步驟：

      1，參數是一個字典｛'類型' : '代理IP：端口號' ｝ //類型是http,https等

       proxy_support = urllib.request.ProxyHandler({})

      2，定製、建立一個opener

       opener = urllib.request.build_opener(proxy_support)

      3，安裝opener(永久安裝，一勞永逸)

       urllib.request.install_opener(opener)

      3，調用opener（調用的時候使用）

        opener.open(url)

5、批量下載網絡圖片

       圖片下載來源爲煎蛋網（http://jandan.net)

       圖片下載的關鍵是找到圖片的規律，如找到當前頁，每一頁的圖片連接，而後使用循環下載圖片。下面是程序代碼（待優化,正則表達式匹配，IP代理）：

import urllib.request
import os

def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0')
    response = urllib.request.urlopen(req)
    html = response.read()
    return html

def get_page(url):
    html = url_open(url).decode('utf-8')
    a = html.find('current-comment-page') + 23
    b = html.find(']',a)
    return html[a:b]


def find_image(url):
    html = url_open(url).decode('utf-8')
    image_addrs = []
    a = html.find('img src=')
    while a != -1:
        b = html.find('.jpg',a,a + 150)
        if b != -1:
            image_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
        a = html.find('img src=',b)
    for each in image_addrs:
        print(each)
    return image_addrs

def save_image(folder,image_addrs):
    for each in image_addrs:
        filename = each.split('/')[-1]
        with open(filename,'wb') as f:
            img = url_open(each)
            f.write(img)

def download_girls(folder = 'girlimage',pages = 20):
    os.mkdir(folder)
    os.chdir(folder)
    url = 'http://jandan.net/ooxx/'
    page_num = int(get_page(url))

    for i in range(pages):
        page_num -= i
        page_url = url + 'page-' + str(page_num) + '#comments'
        image_addrs = find_image(page_url)
        save_image(folder,image_addrs)

if __name__ == '__main__':
    download_girls()
     

 代碼運行效果以下：

 

                                               注：目前處於自學python階段，上述所寫屬於學習筆記。剛接觸python有兩週時間，若有錯誤，歡迎指正。參考資源來自小甲魚視頻。