scrapy 錯誤：Missing scheme in request url: %s' % self._url

先說報錯緣由：使用了和start_urls同名的參數

我經過scral crawl projename -a start_urls=http:example.com來傳start_urls，而後想在項目中初始化spider類的時候，添加抓取URL，代碼以下：

class xxxxSpider(CrawlSpider):
    name = 'xxxx'
    allowed_domains = ['xxxx.gov.cn']
    start_urls = [
    ]
    rules = (
        Rule(LinkExtractor(allow=(r'page=\d+',))),
        Rule(LinkExtractor(allow=('unid',)), callback='parse_item', follow=False),
    )

    def __init__(self, *a, **kw):

        self.start_urls.append(kw.get('start_url'))
        super(CrawlSpider, self).__init__(*a, **kw)
        self._compile_rules()

按理來講，並無覆蓋self.start_urls，可是沒法經過校驗，啓動時報錯

raise ValueError('Missing scheme in request url: %s' % self._url)

解決辦法：把參數名改爲別的就好了，不要使用start_urls。我猜應該是項目初始化的過程當中使用了這個名字做爲參數，而後我給他覆蓋了。