Python爬蟲入門（二）之Requests庫

Python爬蟲入門（二）之Requests庫

我是照着小白教程作的，因此該篇是更小白教程hhhhhhhh

1、Requests庫的簡介

Requests 惟一的一個非轉基因的 Python HTTP 庫，人類能夠安全享用。（摘自Requests庫官方文檔）

2、Requests的功能特性

Requests 徹底知足今日 web 的需求。

• Keep-Alive & 鏈接池
• 國際化域名和 URL
• 帶持久 Cookie 的會話
• 瀏覽器式的 SSL 認證
• 自動內容解碼
• 基本/摘要式的身份認證
• 優雅的 key/value Cookie
• 自動解壓
• Unicode 響應體
• HTTP(S) 代理支持
• 文件分塊上傳
• 流下載
• 鏈接超時
• 分塊請求
• 支持 .netrc

Requests 支持 Python 2.6—2.7以及3.3—3.7，並且能在 PyPy 下完美運行。

3、運行環境

• Windows版本
  個人電腦用的是Win7系統，由於從上大學開始，不少軟件裝上使用不了，好比VC++6.0等等，當時是說Win10還有不少軟件不兼容（PS：16年的Win10還不大成熟...），後來就一直用的Win7，固然前不久微軟也發官方通告了，Win7被淘汰了，不過不要緊，Win7和Win10在大多數狀況下，是相似的，這個爬蟲系列我就以Win7爲例。
• Python版本
  看了不少教程，我下了anaconda，它是一個開源的Python發行版本，其包含了conda、Python等180多個科學包及其依賴項（PS：應該蠻好用，要否則也不會那麼多人用它hhh）。此次我下的是3.8版本的，傳送門Anaconda官網。
• 集成開發環境（IDE）
  我用的是PyCharm，這個比較經典還好用，是由JetBrains打造的一款Python IDE，傳送門JetBrains官網。

4、軟件安裝

• 安裝Python
  進入Anaconda官網點擊下載安裝包
  
  開始安裝界面
  
  自定義安裝目錄，它彈了個警告，就是由於我存放的文件夾名是program Files，中間有空格，建議你們取名用連字符命名，要否則之後裝Conda packages會出問題
  
  安裝完成
• 安裝IDE
  
  進入JetBrains官網點擊下載安裝包
  
  開始安裝界面
  

1. 第一個複選框是讓你選擇64位系統，你能夠根據計算機系統肯定是否勾選
2. 第二個複選框是將打開的文件夾作爲項目添加進去
3. 第三個複選框是關聯py類型的文件，默認此類型文件用PyCharm打開
4. 第四個複選框是將啓動器dir添加到路徑裏

5、安裝Request庫

點擊開始菜單，找到Anaconda的安裝目錄，以管理員身份運行Anaconda Prompt

// 鍵入命令
conda install requests

鍵入上面的命令，開始安裝Request庫

安裝完畢，傳送門Requests庫官方文檔，其中有不少本文沒提到的庫操做方法。
在安裝此庫，我遇到了一些問題，就是我看的教程裏，博主是直接用的cmd，我也用管理員身份運行，我懷疑是由於安裝目錄和操做目錄不是一個，因此鍵入命令，不能識別個人字。使用了Anaconda來安裝該庫，可能對於我來講簡單一丟丟hhhhhhh

6、初試PyCharm

打開PyCharm，新建項目，建議放在本身命名測試的文件夾裏

在文件夾裏新建Python文件
輸入下方代碼導入Request庫

import requests #導入Request庫

繼續輸入獲取咱們想要的網頁

r = requests.get('https://unsplash.com') #像目標url地址發送get請求，返回一個response對象
print(r.text) #r.text是http response的網頁HTML

點擊運行該代碼

頁面下方獲得運行結果

以上用了get請求，咱們能夠繼續輸入下方代碼查看類型
向網站發送了一個get請求，而後網站會返回一個response，r 就是response

print(type(r))

能夠看到輸出結果以下

建議你們多看看Requests庫官方文檔

沒有別的指南了，你如今要靠本身了

祝你好運