scrapy-基礎

1、建立一個項目

　　一、 pip3 install scrapy

　　二、scrapy startproject  myspider

2、生成一個爬蟲

　　三、scrapy  genspider  itcast  itcast.cn      scrapy  genspider   + 爬蟲名字    + 爬蟲範圍。

 

 

 

 

 

三 提取數據

　　五、完善 spider  使用 xpath等方法

四 保存數據

　　pipeline中保存數據

5、啓動 scrapy

scrapy crawl itcast       ##### scrapy crawl+ 項目名字

ret1 = response.xpath("//div[@class='tea_con']//h3/text()")

print(ret1)

 設置日誌：

 

 

 

 列表，列表中的每一個元素是對象， 每一個對象是  selector 對象 selector 有個  xpath  有個  data

九、

 

 

 

ret1 = response.xpath("//div[@class='tea_con']//h3/text()").extract()

print(ret1)

KEY表明  piplines的位置，值表明  距離引擎的遠近 

 

 

 值 距離引擎的遠近，越小  優先級 越大。