爬蟲知識7：scrapy的settings配置文件中各參數解釋以及如何自定義類

建立完爬蟲項目之後，都會有如下的結構： 其中，settings.py文件是存放配置文件用的，初始化的settings文件，只有以下四個變量是默認定義好的，其他都是註釋掉的。現在從上往下，看下每個變量的含義。 1）BOT_NAME：爬蟲項目的名字，每個爬蟲去爬取網站時，都會在user-agent帶着這個爬蟲名字去爬取網站。 2）SPIDER_MODULES、NEWSPIDER_MODULE：爬蟲的路

>>阅读原文<<