一 . requests模塊
- 什麼是requests模塊
- requests模塊是python中原生的基於網絡請求的模塊，其主要做用是用來模擬瀏覽器發起請求。功能強大，用法簡潔高效。在爬蟲領域中佔據着半壁江山的地位。
- 爲何要使用requests模塊
- 由於在使用urllib模塊的時候，會有諸多不便之處，總結以下：
- 手動處理url編碼
- 手動處理post請求參數
- 處理cookie和代理操做繁瑣
- ......
- 使用requests模塊：
- 自動處理url編碼
- 自動處理post請求參數
- 簡化cookie和代理操做
- ......
- 由於在使用urllib模塊的時候，會有諸多不便之處，總結以下：
- 如何使用requests模塊
- 安裝：
- pip install requests
- 使用流程
- 指定url
- 基於requests模塊發起請求
- 獲取響應對象中的數據值
- 持久化存儲
- 安裝：
二 . 案例詳情
1. 案例一 : 爬取搜狗指定詞條搜索後的頁面數據html
基於requests模塊的get請求python
import requests import os #指定搜索關鍵字 word = input('enter a word you want to search:') #自定義請求頭信息 headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } #指定url url = 'https://www.sogou.com/web' #封裝get請求參數 prams = { 'query':word, 'ie':'utf-8' } #發起請求 response = requests.get(url=url,params=param) #獲取響應數據 page_text = response.text with open('./sougou.html','w',encoding='utf-8') as fp: fp.write(page_text)
請求載體身份標識的假裝：web
-
-
User-Agent：請求載體身份標識，經過瀏覽器發起的請求，請求載體爲瀏覽器，則該請求的User-Agent爲瀏覽器的身份標識，使用爬蟲程序發起的請求，則該請求的載體爲爬蟲程序，則該請求的User-Agent爲爬蟲程序的身份標識。能夠經過判斷該值來獲知該請求的載體到底是基於哪款瀏覽器仍是基於爬蟲程序。ajax
-
反爬機制：某些門戶網站會對訪問該網站的請求中的User-Agent進行捕獲和判斷，若是該請求的UA爲爬蟲程序，則拒絕向該請求提供數據。json
-
反反爬策略：將爬蟲程序的UA假裝成某一款瀏覽器的身份標識。瀏覽器
-
2 . 案例二 : 登陸豆瓣電影，爬取登陸成功後的頁面數據服務器
基於requests模塊的post請求 cookie
import requests import os url = 'https://accounts.douban.com/login' #封裝請求參數 data = { "source": "movie", "redir": "https://movie.douban.com/", "form_email": "15027900535", "form_password": "bobo@15027900535", "login": "登陸", } #自定義請求頭信息 headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } response = requests.post(url=url,data=data) page_text = response.text with open('./douban111.html','w',encoding='utf-8') as fp: fp.write(page_text)
3 . 案例三 : 爬取豆瓣電影分類排行榜中的電影詳情數據網絡
基於requests模塊的ajax的get請求session
#!/usr/bin/env python # -*- coding:utf-8 -*- import requests import urllib.request if __name__ == "__main__": #指定ajax-get請求的url（經過抓包進行獲取） url = 'https://movie.douban.com/j/chart/top_list?' #定製請求頭信息，相關的頭信息必須封裝在字典結構中 headers = { #定製請求頭中的User-Agent參數，固然也能夠定製請求頭中其餘的參數 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36', } #定製get請求攜帶的參數(從抓包工具中獲取) param = { 'type':'5', 'interval_id':'100:90', 'action':'', 'start':'0', 'limit':'20' } #發起get請求，獲取響應對象 response = requests.get(url=url,headers=headers,params=param) #獲取響應內容：響應內容爲json串 print(response.text)
4 . 案例四 : 爬取肯德基餐廳查詢中指定地點的餐廳數據
基於requests模塊的ajax的post請求
#!/usr/bin/env python # -*- coding:utf-8 -*- import requests import urllib.request if __name__ == "__main__": #指定ajax-post請求的url（經過抓包進行獲取） url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword' #定製請求頭信息，相關的頭信息必須封裝在字典結構中 headers = { #定製請求頭中的User-Agent參數，固然也能夠定製請求頭中其餘的參數 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36', } #定製post請求攜帶的參數(從抓包工具中獲取) data = { 'cname':'', 'pid':'', 'keyword':'北京', 'pageIndex': '1', 'pageSize': '10' } #發起post請求，獲取響應對象 response = requests.get(url=url,headers=headers,data=data) #獲取響應內容：響應內容爲json串 print(response.text)
5 . 案例五 : 爬取國家藥品監督管理總局中基於中華人民共和國化妝品生產許可證相關數據
綜合
import requests from fake_useragent import UserAgent ua = UserAgent(use_cache_server=False,verify_ssl=False).random headers = { 'User-Agent':ua } url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList' pageNum = 3 for page in range(3,5): data = { 'on': 'true', 'page': str(page), 'pageSize': '15', 'productName':'', 'conditionType': '1', 'applyname':'', 'applysn':'' } json_text = requests.post(url=url,data=data,headers=headers).json() all_id_list = [] for dict in json_text['list']: id = dict['ID']#用於二級頁面數據獲取 #下列詳情信息能夠在二級頁面中獲取 # name = dict['EPS_NAME'] # product = dict['PRODUCT_SN'] # man_name = dict['QF_MANAGER_NAME'] # d1 = dict['XC_DATE'] # d2 = dict['XK_DATE'] all_id_list.append(id) #該url是一個ajax的post請求 post_url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById' for id in all_id_list: post_data = { 'id':id } response = requests.post(url=post_url,data=post_data,headers=headers) #該請求響應回來的數據有兩個，一個是基於text，一個是基於json的，因此能夠根據content-type,來獲取指定的響應數據 if response.headers['Content-Type'] == 'application/json;charset=UTF-8': #print(response.json()) #進行json解析 json_text = response.json() print(json_text['businessPerson'])
