scrapy 爬蟲--修改配置文件

1.setting 文件 –修改ROBOT協定 True – False ROBOTSTXT_OBEY = True #打開請求DEFAULT_REQUEST_HEADERS #打開ITEM_PIPELINESE #打開DOWNLOAD_DELAY #設置設置DOWNLOADER_MIDDLEWARES & 請求頭設置 UserAgentMiddleware與middlewares.py文件中添加

>>阅读原文<<