scrapy 6023 telnet查看爬蟲引擎相關狀態

Telnet終端(Telnet Console)

Scrapy提供了內置的telnet終端，以供檢查，控制Scrapy運行的進程。 telnet僅僅是一個運行在Scrapy進程中的普通python終端。所以您能夠在其中作任何事。

telnet終端是一個 自帶的Scrapy擴展 。 該擴展默認爲啓用，不過您也能夠關閉。 關於擴展的更多內容請參考 Telnet console 擴展 。

如何訪問telnet終端

telnet終端監聽設置中定義的 TELNETCONSOLE_PORT ，默認爲 6023 。 訪問telnet請輸入:

telnet localhost 6023
>>>

Windows及大多數Linux發行版都自帶了所需的telnet程序。

telnet終端中可用的變量

telnet僅僅是一個運行在Scrapy進程中的普通python終端。所以您能夠作任何事情，甚至是導入新終端。

telnet爲了方便提供了一些默認定義的變量:

快捷名稱	描述
crawler	Scrapy Crawler (scrapy.crawler.Crawler 對象)
engine	Crawler.engine屬性
spider	當前激活的爬蟲(spider)
slot	the engine slot
extensions	擴展管理器(manager) (Crawler.extensions屬性)
stats	狀態收集器 (Crawler.stats屬性)
settings	Scrapy設置(setting)對象 (Crawler.settings屬性)
est	打印引擎狀態的報告
prefs	針對內存調試 (參考 調試內存溢出)
p	pprint.pprint 函數的簡寫
hpy	針對內存調試 (參考 調試內存溢出)

Telnet console usage examples

下面是使用telnet終端的一些例子:

查看引擎狀態

在終端中您可使用Scrapy引擎的 est() 方法來快速查看狀態:

telnet localhost 6023
>>> est()
Execution engine status

time()-engine.start_time                        : 8.62972998619
engine.has_capacity()                           : False
len(engine.downloader.active)                   : 16
engine.scraper.is_idle()                        : False
engine.spider.name                              : followall
engine.spider_is_idle(engine.spider)            : False
engine.slot.closing                             : False
len(engine.slot.inprogress)                     : 16
len(engine.slot.scheduler.dqs or [])            : 0
len(engine.slot.scheduler.mqs)                  : 92
len(engine.scraper.slot.queue)                  : 0
len(engine.scraper.slot.active)                 : 0
engine.scraper.slot.active_size                 : 0
engine.scraper.slot.itemproc_size               : 0
engine.scraper.slot.needs_backout()             : False

暫停，恢復和中止Scrapy引擎

暫停:

telnet localhost 6023
>>> engine.pause()
>>>

恢復:

telnet localhost 6023
>>> engine.unpause()
>>>

中止:

telnet localhost 6023
>>> engine.stop()
Connection closed by foreign host.

Telnet終端信號

scrapy.telnet. update_telnet_vars (telnet_vars)

在telnet終端開啓前發送該信號。您能夠掛載(hook up)該信號來添加，移除或更新 telnet本地命名空間可用的變量。 您能夠經過在您的處理函數(handler)中更新 telnet_vars 字典來實現該修改。

參數:	telnet_vars (dict) – telnet變量的字典

Telnet設定

如下是終端的一些設定:

TELNETCONSOLE_PORT

Default: [6023, 6073]

telnet終端使用的端口範圍。若是設爲 None 或 0 ， 則動態分配端口。

TELNETCONSOLE_HOST

默認: '127.0.0.1'

telnet終端監聽的接口(interface)。