手把手教你如何新建scrapy爬蟲框架的第一個項目（上）

前幾天給你們分享瞭如何在Windows下建立網絡爬蟲虛擬環境及如何安裝Scrapy，還有Scrapy安裝過程當中常見的問題總結及其對應的解決方法，感興趣的小夥伴能夠戳連接進去查看。關於Scrapy的介紹，以前也在文章中說起過，今天小編帶你們進入Scrapy爬蟲框架，建立Scrapy爬蟲框架的第一個項目，具體過程以下所示。

一、進入虛擬環境，不知道進入的環境的小夥伴能夠戳這篇文章：在Windows下如何建立指定的虛擬環境和在Windows下如何建立虛擬環境（默認狀況下）。進入到環境以後能夠經過「pip list」命令查看Scrapy是否安裝成功，以下圖所示。

能夠看到Scrapy已經安裝成功。

二、這裏小編欲將Scrapy項目放到demo文件夾下，因此先退回到上級目錄中去，以下圖所示。

三、爾後開始新建Scrapy項目，輸入建立Scrapy爬蟲項目命令「scrapy startproject article」，其中article是爬蟲項目的名稱，能夠自行更改的。輸入建立命令以後，稍等片刻，系統會根據模板進行建立項目，模板所在的目錄是「D:pythonDemo8Septemberdemoscrapy_demoLibsite-packagesscrapy emplatesproject」，與你的爬蟲環境相關，以下圖所示，等待項目建立完成。固然咱們能夠自定義爬蟲模板，不過目前來看，Scrapy爬蟲框架提供的模板夠咱們用的了，咱們能把Scrapy搞明白也就能夠了。

四、根據上圖提示，首先進入到article文件夾下，輸入命令「cd article」，以後經過「dir」查看目錄，也能夠經過「tree /f」生成文件目錄的樹形結構，以下圖所示，能夠很清晰的看到Scrapy建立命令生成的文件。

頂層的article文件夾是項目名。

第二層中包含的是一個與項目名同名的文件夾article和一個文件scrapy.cfg，這個與項目同名的文件夾article是一個模塊，全部的項目代碼都在這個模塊內添加，而scrapy.cfg文件是整個Scrapy項目的配置文件。

第三層中有5個文件和一個文件夾，其中__init__.py是個空文件，做用是將其上級目錄變成一個模塊；items.py是定義儲對象的文件，決定爬取哪些項目；middlewares.py文件是中間件，通常不用進行修改，主要負責相關組件之間的請求與響應；pipelines.py是管道文件，決定爬取後的數據如何進行處理和存儲；settings.py是項目的設置文件，設置項目管道數據的處理方法、爬蟲頻率、表名等；spiders文件夾中放置的是爬蟲主體文件（用於實現爬蟲邏輯）和一個__init__.py空文件。

五、在Windows文件夾下也能夠很清晰的看到新建的Scrapy文件，以下圖所示。

六、固然，也能夠經過Pycharm導入項目的方式進行查看項目文件，此時更加的清晰，以下圖所示。

七、點擊各個項目文件，能夠查看其中的內容，其中settings.py文件的內容以下圖所示，其餘的文件內容在此就再也不贅述了。

至此，第一個Scrapy爬蟲項目的建立及Scrapy爬蟲項目中的文件解析介紹就先到這裏了，下一步開始進行Scrapy爬蟲項目的進階內容，敬請期待~~