Python | 初識爬蟲框架Scrapy

1、前言

今天給你們分享的是，Python裏的爬蟲框架Scrapy學習，包含python虛擬環境的搭建、虛擬環境的使用、Scrapy安裝方法詳解、Scrapy基本使用、Scrapy項目目錄及內容基本介紹，let's go！

2、Python爬蟲框架Scrapy簡介

推薦查看Scrapy中文幫助文檔：

1# 維基百科看Scrapy
 2'''
 3Scrapy（SKRAY -pee）是一個免費和開源 網絡爬行 框架 Python編寫的。最初設計用於Web抓取，它還可
 4以用於使用API或做爲通用Web爬網程序提取數據。它目前由網絡抓取開發和服務公司Scrapinghub Ltd.維護
 5。
 6Scrapy項目體系結構是圍繞「Spider」構建的，它們是自包含的爬蟲，能夠得到一組指令。遵循其餘框架的精
 7神，不重複本身的框架，例如Django，它容許開發人員重用他們的代碼，從而更容易構建和擴展大型爬行項
 8目。Scrapy還提供了一個Web爬行shell，開發人員可使用它來測試他們對站點行爲的假設。
 9(英譯漢有點尷尬！真的想學，仍是好好看上面的幫助文檔吧)
10'''

3、看代碼，邊學邊敲邊記虛擬環境、Scrapy框架

1. 新建一個虛擬環境

下面 操做以前你須要準備好：
(1) 你的python版本是3.x，最好系統裏只有一個python環境,後面全部學習筆記都基於py3的。
(2)python環境裏先安裝virtualenv模塊，基本方法pip install virtualenv 。
(3)選擇好虛擬環境的安裝目錄(我選的是H盤目錄下的env文件夾，建議你選的目錄路徑裏最好不要有中文)。

1PS H:\env\> virtualenv spiderenv
2Using base prefix 'c:\\users\\82055\\appdata\\local\\programs\\python\\python36'
3New python executable in H:\env\spiderenv\Scripts\python.exe
4Installing setuptools, pip, wheel...done.
5注： 若是系統中有兩個python環境（py2和py3）,新建基於py3的虛擬環境方法
6virtualenv -python=你的Python3安裝目錄(精確到python.exe) spiderenv(虛擬環境名稱)

安裝完成後再本身選擇的目錄下會多出一個文件夾(虛擬環境)，我這裏爲H：\env\spiderenv,後面全部爬蟲學習過程當中須要的模塊、接口都將pip(安裝)在裏面。

2. 打開虛擬環境，安裝Scrapy框架

進入到目錄H:\env\spiderenv\Scripts(個人虛擬環境目錄)，按住shift+鼠標右鍵，打開powershell或者cmd(若是是powershell就先輸入cmd)，再輸入activate，進入虛擬環境，你會發如今路徑前面多了一個括號裏面是你的虛擬環境名稱，表示你進入了虛擬環境。具體看下面：

1# 注：打開powershell 的能夠參照下面操做
2PS H:\env\spiderenv\Scripts> cmd
3Microsoft Windows [版本 10.0.17134.112]
4(c) 2018 Microsoft Corporation。保留全部權利。
5
6H:\env\spiderenv\Scripts>activate
7(spiderenv) H:\spiderenv\Scripts>

安裝scrapy模塊(下面操做都是在虛擬環境下)：