【一塊兒學爬蟲】scrapy框架的安裝

簡介

scrapy是一個強大的異步爬蟲框架，具備豐富的組件，有了scrapy框架，咱們只須要關心爬蟲的邏輯就能夠了。

scrapy框架的安裝

scrapy的安裝有多種方式,它支持 Python2.7版本及以上或 Python3.3版本及以上。下面說明 Python3環境下的安裝過程

scrap依賴的庫比較多,至少須要依賴庫有 Twisted14.0,m34, pyopenSSL0.14。而在不一樣平臺環境又各不相同,因此在安裝以前最好確保把一些基本庫安裝好,尤爲是 Windows

windows平臺

1.Anaconda 這種方法是一種比較簡單的安裝 scrap的方法(尤爲是對 Windows來講),你可使用該方法安裝。

Anaconda是包含了經常使用的數據科學庫的 Python發行版本,若是沒有安裝,能夠到這裏下載對應平臺的包安裝。若是已經安裝,那麼能夠輕鬆地經過 conda命令安裝 Scrap。 安裝命令以下

conda install scrapy

---

方式2、比較繁瑣

• 安裝lxml 最好的安裝方式是經過wheel文件來安裝:從這裏找到lxm的相關文件。 假如是 Python3.5版本, WIndows64位系統,那就找到 lxm-3.72cp35cp35 m-win amd64whl這個文件井下載,而後經過pip安裝:

  

  下載後，運行以下命令安裝：

pip install wheel pip install lxm1-3.7.2-cp35-cp35m-win_amd64.whl

注意：上面的whl文件爲你下載的那個文件名，要切換到下載文件所在的目錄執行上述指令

• 安裝 pyOpenSSL

官方網站下載 wheel文件，如當前最新版本

名稱是pyOpenSSL-19.0.0-py2.py3-none-any.whl ，下載後安裝便可。

pip instal pyOpenSSL-19.0.0-py2.py3-none-any.whl

• 安裝 Twisted

同理，下載 wheel文件，利用pip安裝便可。

如Python 3.5版本，Windows 64位系統，下載Twisted‑19.2.0‑cp35‑cp35m‑win_amd64.whl，而後使用pip安裝：

pip instal Twisted‑19.2.0‑cp35‑cp35m‑win_amd64.whl

• 安裝 pywin32

從官方網站下載對應版本的安裝包安裝便可。

• 安裝 scrapy

最後安裝 scrapy便可，依然使用pip，命令以下:

pip instal scrapy

linux 平臺： CentOS、RedHat、Fedora

1.安裝依賴庫 確保一些必須的類庫已經安裝 ， 運行以下命令:

sudo yum groupinstal development tools sudo yum instal python34-devel epel-release libxslt-devel libxml2-devel openssl-devel

2.安裝scrapy

pip instal scrapy

Ubuntu、Debian、Deepin平臺

1.依賴庫安裝 首先確保一些必須的類庫已經安裝 ， 運 行以下命令:

sudo apt-get instal build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zliblg-dev 2.安裝 Scrapy 利用pip安裝 Scrapy便可， 運 行以下命令: pip3 instal1 scrapy

Mac OS平臺

1.依賴庫安裝 在Mac上構建Scrapy的依賴庫須要 C編譯器以及開發頭文件，它通常由Xcode提供， 運 行以下命令安裝便可:

xcode-select --instal1 2.安裝 scrapy

利用pip安裝 scrapy便可， 運 行以下命令:

pip3 instal1 scrapy

驗證是否安裝成功

安裝以後，在命令行下輸入scrapy ，若是出現相似下方的結果，就證實Scrapy安裝成功。

公衆號‘菜鳥名企夢’後臺發送「scrapy」便可獲取scrapy的pdf安裝文檔

資料分享

java學習筆記、10T資料、100多個java項目分享

---

歡迎關注我的公衆號【菜鳥名企夢】，公衆號專一：互聯網求職面經、java、python、爬蟲、大數據等技術分享**： 公衆號**菜鳥名企夢後臺發送「csdn」便可免費領取【csdn】和【百度文庫】下載服務； 公衆號菜鳥名企夢後臺發送「資料」:便可領取5T精品學習資料**、java面試考點和java面經總結，以及幾十個java、大數據項目，資料很全，你想找的幾乎都有