python-01 spider原理

時間 2019-11-12

標籤 python spider 原理欄目 Python 简体版

原文原文鏈接

用Python能夠作什麼？能夠作平常任務，好比自動備份你的MP3；能夠作網站，不少著名的網站包括YouTube就是Python寫的；能夠作網絡遊戲的後臺，不少在線遊戲的後臺都是Python開發的。總之就是能幹不少不少事啦。css

Python固然也有不能幹的事情，好比寫操做系統，這個只能用C語言寫；寫手機應用，只能用Swift/Objective-C（針對iPhone）和Java（針對Android）；寫3D遊戲，最好用C或C++。html

若是你是小白用戶，知足如下條件：python

會使用電腦，但歷來沒寫過程序；
還記得初中數學學的方程式和一點點代數知識；
想從編程小白變成專業的軟件架構師；
天天能抽出半個小時學習

1、爬蟲是什麼？

簡單來講互聯網是由一個個站點和網絡設備組成的大網，咱們經過瀏覽器訪問站點，站點把HTML、JS、CSS代碼返回給瀏覽器，這些代碼通過瀏覽器解析、渲染，將豐富多彩的網頁呈現咱們眼前；正則表達式

若是咱們把互聯網比做一張大的蜘蛛網，數據即是存放於蜘蛛網的各個節點，而爬蟲就是一隻小蜘蛛，數據庫

沿着網絡抓取本身的獵物（數據）爬蟲指的是：向網站發起請求，獲取資源後分析並提取有用數據的程序；編程

從技術層面來講就是經過程序模擬瀏覽器請求站點的行爲，把站點返回的HTML代碼/JSON數據/二進制數據（圖片、視頻）爬到本地，進而提取本身須要的數據，存放起來使用；json

2、爬蟲的基本流程：

用戶獲取網絡數據的方式：瀏覽器

方式1：瀏覽器提交請求--->下載網頁代碼--->解析成頁面服務器

方式2：模擬瀏覽器發送請求(獲取網頁代碼)->提取有用的數據->存放於數據庫或文件中cookie

爬蟲要作的就是方式2；

一、發起請求

使用http庫向目標站點發起請求，即發送一個Request

Request包含：請求頭、請求體等

Request模塊缺陷：不能執行JS 和CSS 代碼

二、獲取響應內容

若是服務器能正常響應，則會獲得一個Response

Response包含：html，json，圖片，視頻等

三、解析內容

解析html數據：正則表達式（RE模塊），第三方解析庫如Beautifulsoup，pyquery等

解析json數據：json模塊

解析二進制數據:以wb的方式寫入文件

四、保存數據

數據庫（MySQL，Mongdb、Redis）

文件

3、http協議請求與響應

Request：用戶將本身的信息經過瀏覽器（socket client）發送給服務器（socket server）

Response：服務器接收請求，分析用戶發來的請求信息，而後返回數據（返回的數據中可能包含其餘連接，如：圖片，js，css等）

ps：瀏覽器在接收Response後，會解析其內容來顯示給用戶，而爬蟲程序在模擬瀏覽器發送請求而後接收Response後，是要提取其中的有用數據。

4、 request

一、請求方式：

常見的請求方式：GET / POST

二、請求的URL

url全球統一資源定位符，用來定義互聯網上一個惟一的資源例如：一張圖片、一個文件、一段視頻均可以用url惟一肯定

url編碼

https://www.baidu.com/s?wd=圖片

圖片會被編碼（看示例代碼）

網頁的加載過程是：

加載一個網頁，一般都是先加載document文檔，

在解析document文檔的時候，遇到連接，則針對超連接發起下載圖片的請求

三、請求頭

User-agent：請求頭中若是沒有user-agent客戶端配置，服務端可能將你當作一個非法用戶host；

cookies：cookie用來保存登陸信息

4、 request

一、請求方式：

常見的請求方式：GET / POST

二、請求的URL

url全球統一資源定位符，用來定義互聯網上一個惟一的資源例如：一張圖片、一個文件、一段視頻均可以用url惟一肯定

url編碼

https://www.baidu.com/s?wd=圖片

圖片會被編碼（看示例代碼）

網頁的加載過程是：

加載一個網頁，一般都是先加載document文檔，

在解析document文檔的時候，遇到連接，則針對超連接發起下載圖片的請求

三、請求頭

User-agent：請求頭中若是沒有user-agent客戶端配置，服務端可能將你當作一個非法用戶host；

cookies：cookie用來保存登陸信息

4、 request

一、請求方式：

常見的請求方式：GET / POST

二、請求的URL

url全球統一資源定位符，用來定義互聯網上一個惟一的資源例如：一張圖片、一個文件、一段視頻均可以用url惟一肯定

url編碼

https://www.baidu.com/s?wd=圖片

圖片會被編碼（看示例代碼）

網頁的加載過程是：

加載一個網頁，一般都是先加載document文檔，

在解析document文檔的時候，遇到連接，則針對超連接發起下載圖片的請求

三、請求頭

User-agent：請求頭中若是沒有user-agent客戶端配置，服務端可能將你當作一個非法用戶host；

cookies：cookie用來保存登陸信息

請求頭須要注意的參數：

（1）Referrer：訪問源至哪裏來（一些大型網站，會經過Referrer 作防盜鏈策略；全部爬蟲也要注意模擬）

（2）User-Agent:訪問的瀏覽器（要加上不然會被當成爬蟲程序）

（3）cookie：請求頭注意攜帶

四、請求體

請求體
    若是是get方式，請求體沒有內容 （get請求的請求體放在 url後面參數中，直接能看到）
    若是是post方式，請求體是format data

    ps：
    一、登陸窗口，文件上傳等，信息都會被附加到請求體內
    二、登陸，輸入錯誤的用戶名密碼，而後提交，就能夠看到post，正確登陸後頁面一般會跳轉，沒法捕捉到post

5、響應Response

一、響應狀態碼

　　200：表明成功

　　301：表明跳轉

　　404：文件不存在

　　403：無權限訪問

　　502：服務器錯誤

二、respone header

響應頭須要注意的參數：

（1）Set-Cookie:BDSVRTM=0; path=/：可能有多個，是來告訴瀏覽器，把cookie保存下來

（2）Content-Location：服務端響應頭中包含Location返回瀏覽器以後，瀏覽器就會從新訪問另外一個頁面

三、preview就是網頁源代碼

JSO數據

如網頁html，圖片

二進制數據等

6、總結

一、總結爬蟲流程：

爬取--->解析--->存儲

二、爬蟲所需工具：

請求庫：requests,selenium（能夠驅動瀏覽器解析渲染CSS和JS，但有性能劣勢（有用沒用的網頁都會加載）；）
解析庫：正則，beautifulsoup，pyquery
存儲庫：文件，MySQL，Mongodb，Redis

涉及知識：多線程多進程

計算密集型任務：使用多進程，由於能Python有GIL，多進程能夠利用上CPU多核優點；

IO密集型任務：使用多線程，作IO切換節省任務執行時間（併發）

線程池

以上參考https://www.cnblogs.com/sss4/p/7809821.html

接下來動動手指，操做一下

運行平臺：Windows 10
Python版本：Python3.7
IDE：pycharm

1 from urllib import request
2 
3 url = 'http://www.baidu.com'
4 # page = request.Request(url)
5 # page.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
6 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
7 page = request.Request(url, headers=headers)
8 page_info = request.urlopen(page).read().decode('utf-8')
9 print(page_info)

View Code

對於python 3來講,urllib是一個很是重要的一個模塊，能夠很是方便的模擬瀏覽器訪問互聯網,對於python 3 爬蟲來講, urllib更是一個必不可少的模塊,它能夠幫助咱們方便地處理URL.
urllib.request是urllib的一個子模塊,能夠打開和處理一些複雜的網址

The urllib.request
module defines functions and classes which help in opening URLs (mostly HTTP) in a complex world — basic and digest authentication, redirections, cookies and more.

urllib.request.urlopen()方法實現了打開url,並返回一個 http.client.HTTPResponse對象,經過http.client.HTTPResponse的read()方法,得到response body,轉碼最後經過print()打印出來.

urllib.request.urlopen(url, data=None, [timeout, ]***, cafile=None, capath=None, cadefault=False, context=None)
For HTTP and HTTPS URLs, this function returns a http.client.HTTPResponse
object slightly modified.
< 出自: https://docs.python.org/3/library/urllib.request.html >

decode('utf-8')用來將頁面轉換成utf-8的編碼格式，不然會出現亂碼

固然這個前提是咱們已經知道了這個網頁是使用utf-8編碼的，怎麼查看網頁的編碼方式呢？須要人爲操做，且很是簡單的方法是使用使用瀏覽器審查元素，只須要找到head標籤開始位置的chareset，就知道網頁是採用何種編碼的了。以下：

這樣咱們就知道了這個網站的編碼方式，可是這須要咱們每次都打開瀏覽器，並找下編碼方式，顯然有些費事，使用幾行代碼解決更加省事而且顯得酷一些。

自動獲取網頁編碼方式的方法

獲取網頁編碼的方式有不少，我的更喜歡用第三方庫的方式。

首先咱們須要安裝第三方庫chardet，它是用來判斷編碼的模塊，安裝方法以下圖所示，只須要輸入指令：

pip install chardet

直接cmd 命令行安裝

下載是若是告知你要升級運行如下命令python -m pip install --upgrade pip，升級pip版本。

一下案例參考自：https://blog.csdn.net/csdn2497242041/article/details/77170746

例子1 ：爬取簡書網站首頁文章的標題和文章連接

首先配置如今第三方，

爬蟲流程：①先由urllib的request打開Url獲得網頁html文檔——②瀏覽器打開網頁源代碼分析元素節點——③經過Beautiful Soup或則正則表達式提取想要的數據——④存儲數據到本地磁盤或數據庫（抓取，分析，存儲）

下載安裝 pip install beautifulsoup4

 1 # spider
 2 # author_mark
 3 # -*- coding: UTF-8 -*-
 4 '''
 5 # Method 1
 6 import urllib.request
 7 
 8 url = "http://www.baidu.com"
 9 page_info = urllib.request.urlopen(url).read()
10 page_info = page_info.decode('utf-8')
11 print(page_info)
12 '''
13 
14 # Method 2
15 from urllib import request
16 from bs4 import BeautifulSoup
17 
18 url = 'http://www.jianshu.com'
19 # page = request.Request(url)
20 # page.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
21 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
22 page = request.Request(url, headers=headers)
23 page_info = request.urlopen(page).read().decode('utf-8')#打開Url,獲取HttpResponse返回對象並讀取其ResposneBody
24 # print(page_info)
25 soup = BeautifulSoup(page_info, 'html.parser')
26 titles = soup.find_all('a', 'title')    # 查找全部a標籤中class='title'的語句
27 '''
28 # 打印查找到的每個a標籤的string和文章連接
29 for title in titles:
30         print(title.string)
31         print("http://www.jianshu.com" + title.get('href'))
32 '''
33 # open()是讀寫文件的函數,with語句會自動close()已打開文件
34 with open(r'D:\Only me\python-code-pycharm\test.txt', "w")as file:     #  在磁盤以只寫的方式打開/建立一個名爲 test 的txt文件
35     for title in titles:
36         file.write(title.string + '\n')
37         file.write("http://www.jianshu.com" + title.get('href') + '\n\n')

View Code

例子2：爬取知乎網站的美女圖片連接，並保存到本地

# -*- coding: UTF-8 -*-
from urllib import request
from bs4 import BeautifulSoup
import re
import time

url = "https://www.zhihu.com/question/22918070"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
html = request.urlopen(page).read().decode('utf-8')
soup = BeautifulSoup(html, 'html.parser')
# print("page")
# 用Beautiful Soup結合正則表達式來提取包含全部圖片連接（img標籤中，class=**，以.jpg結尾的連接）的語句
links = soup.find_all('img', "origin_image zh-lightbox-thumb", src=re.compile(r'.jpg$'))
print(links)
# 設置保存圖片的路徑，不然會保存到程序當前路徑
path = r'D:\Only me\python-code-pycharm\pic'      # 路徑前的r是保持字符串原始值的意思，就是說不對其中的符號進行轉義
for link in links:
    print(link.attrs['src'])
    # 保存連接並命名，time.time()返回當前時間戳防止命名衝突
    request.urlretrieve(link.attrs['src'], path+'\%s.jpg' % time.time())   # 使用request.urlretrieve直接將全部遠程連接數據下載到本地