Scrapy爬蟲框架與經常使用命令

07.08自我總結

一.Scrapy爬蟲框架

大致框架

2個橋樑

二.經常使用命令

全局命令

• startproject

  語法:scrapy startproject <project_name>

  這個命令是scrapy最爲經常使用的命令之一，它將會在當前目錄下建立一個名爲<project_name>的項目。

• settings

  語法: scrapy settings [options]

  該命令將會輸出Scrapy默認設定，固然若是你在項目中運行這個命令將會輸出項目的設定值。

• runspider

  語法:scrapy runspider <spider_file.py>

  在未建立項目的狀況下，運行一個編寫在Python文件中的spider。

• shell

  語法: scrapy shell [url]

  以給定的URL(若是給出)或者空(沒有給出URL)啓動Scrapy shell。

  例如，

  scrapy shell http://www.baidu.com

  將會打開百度URL，

  而且啓動交互式命令行，能夠用來作一些測試。

• fetch

  語法:scrapy fetch <url>

  使用Scrapy下載器(downloader)下載給定的URL，並將獲取到的內容送到標準輸出。簡單的來講，就是打印url的html代碼。

• view

  語法:scrapy view <url>

  在你的默認瀏覽器中打開給定的URL，並以Scrapy spider獲取到的形式展示。 有些時候spider獲取到的頁面和普通用戶看到的並不相同，一些動態加載的內容是看不到的， 所以該命令能夠用來檢查spider所獲取到的頁面。

• version

  語法:scrapy version [-v]

  輸出Scrapy版本。配合 -v 運行時，該命令同時輸出Python, Twisted以及平臺的信息。

項目命令

• crawl

  語法:scrapy crawl <spider_name>

  使用你項目中的spider進行爬取，即啓動你的項目。這個命令將會常常用到，咱們會在後面的內容中常常使用。

• check

  語法: crapy check [-l] <spider>

  運行contract檢查，檢查你項目中的錯誤之處。

• list

  語法:scrapy list

  列出當前項目中全部可用的spider。每行輸出一個spider。

• genspider

  語法:scrapy genspider [-t template] <name> <domain>

  在當前項目中建立spider。該方法可使用提早定義好的模板來生成spider。您也能夠本身建立spider的源碼文件。