爬取圖片過程遇到的ValueError: Missing scheme in request url: h 報錯與解決方法

一 、scrapy總體框架

1.1 scrapy框架圖

　　

 

1.2 scrapy框架各結構解析

　　item：保存抓取的內容

　　spider：定義抓取內容的規則，也是咱們主要編輯的文件

　　pipelines：管道做用，用來定義如何過濾、存儲等功能（好比導出到csv或者mysql等功能）

　　settings：配置例如ITEM_PIPELINES 、圖片存儲位置等等功能

　　middlewares：下載器中間件是在引擎及下載器之間的特定鉤子(specific hook)，處理Downloader傳遞給引擎的response

　　

1.3 數據流過程

　　從start_urls 開始，Scheduler 會將其交給 Downloader 進行下載，下載以後會交給 Spider 進行分析，Spider 分析出來的結果有兩種：一種是須要進一步抓取的連接，例如以前分析的「下一頁」的連接，這些東西會被傳回 Scheduler ；另外一種是須要保存的數據，它們則被送到 Item Pipeline 那裏，那是對數據進行後期處理（詳細分析、過濾、存儲等）的地方。另外，在數據流動的通道里還能夠安裝各類中間件，進行必要的處理。　　

2、 爬取圖片過程

2.1 總體介紹

2.1.1 環境

       Anocondas+python3.6

2.1.2 建立工程

一、建立hupu這個工程

E:\pgtool>scrapy startproject  hupu

 

二、建立相應的spiders

E:\pgtool>cd hupu##必須是進入到建立的項目中去建spiders

E:\pgtool\hupu>scrapy  genspider hp  hupu.com  ##hp=>生成hp.py ，爬蟲名稱爲hp.py,容許訪問的域名爲hupu.com

經過爬取http://photo.hupu.com/nba/p35923-1.html網頁中一個系列的圖片

2.2 配置各組件

2.2.1 item.py

import scrapy


class HupuItem(scrapy.Item):
    # define the fields for your item here like:
    hupu_pic = scrapy.Field()
#    images = scrapy.Field()
    image_paths = scrapy.Field()

 

2.2.2 settings.py

BOT_NAME = 'hupu'

SPIDER_MODULES = ['hupu.spiders']
NEWSPIDER_MODULE = 'hupu.spiders'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
ITEM_PIPELINES = {
    'hupu.pipelines.HupuImgDownloadPipeline': 300,
}
IMAGES_URLS_FIELD = "hupu_pic"  # 對應item裏面設定的字段，取到圖片的url
#IMAGES_RESULT_FIELD = "image_path"
IMAGES_STORE = 'E:/hupu'

2.2.3 hp.py

 1 # -*- coding: utf-8 -*-
 2 import scrapy
 3 from scrapy import Request
 4 from urllib.parse import urljoin
 5 from hupu.items import HupuItem
 6 class HpSpider(scrapy.Spider):
 7     name = 'hp'
 8     allowed_domains = ['hupu.com']
 9     start_urls = ['http://photo.hupu.com/nba/p35923-1.html']
10     
11     def parse(self, response):
12         item=HupuItem()
13         url=response.xpath('//div[@id="picccc"]/img[@id="bigpicpic"]/@src').extract()
14 
15         reurl="http:"+url[0]
16         print ('links is :--','\n',reurl)
17         list1=[]
18         list1.append(reurl)
19         item['hupu_pic']=list1
20         yield item
21         ifnext=response.xpath('//span[@class="nomp"]/a[2]/text()').extract()[0]
22         if "下一張" in ifnext:
23             next_url=response.xpath('//span[@class="nomp"]/a[2]/@href').extract()[0]
24             yield Request(('http://photo.hupu.com/nba/'+next_url),callback=self.parse)

 

2.2.4 pipelines.py

 1 from scrapy.pipelines.images import ImagesPipeline
 2 from scrapy import Request
 3 class HupuPipeline(object):
 4     def process_item(self, item, spider):
 5         return item
 6 class HupuImgDownloadPipeline(ImagesPipeline):
 7 
 8     def get_media_requests(self, item, info):
 9         for image_url in item['hupu_pic']:
10             yield Request(image_url)

3、 爬蟲執行與結果

3.1 執行過程

　　進入到工程路徑下 scrapy crawl hp

　　(base) E:\pgtool\Files\hupu>scrapy crawl hp

3.2 得到結果

 

 4、遇到的問題與分析解決

4.1 問題出現

　　   最開始遇到ValueError: Missing scheme in request url: h 這種報錯，以下圖

　　

4.2  問題解析

　　若是單純獲取文本，那麼只需start_urls是一個list；而若是獲取圖片，則必須start_urls與item中存儲圖片路徑字段這二者必須都是 list。

4.3 解決方案

　   未修改前的spiders：

 　　

　　修改後spiders

　　

5、總結

　　scrapy框架簡單容易理解，並且支持異步多線程，是一個比較上手的爬蟲框架。本次爬蟲犯了一個低級錯誤，在於直接將圖片連接轉換爲list而不經意間將連接拆分爲一個一個的元素，以下示例：

　　str1='baidu.com'

　　list1=list(str1)

　　list1的結果實際爲['b','a','i','d','u','.','c','o','m'],這也就是爲何一直報錯Missing scheme in request url: h（翻譯爲：請求URL中的丟失總體連接：在h開始的位置）因此須要咱們將整個連接放在只有一個元素的list中，使用修改後list.append（）將一個連接完整的放置在list[0]中。

 

有問題的小夥伴們能夠留言討論交流，轉載請註明出處，謝謝。