scrapy 請求頭中攜帶cookie

要爬取的網頁數據只有在登陸之後才能獲取，所以我從瀏覽器中copy了登錄後的cookie到scrapy項目settings文件的請求頭中，但是程序執行完之後發現並沒有獲取到數據，控制檯打印出來的debug信息提示需要登錄，也就是說我在請求頭中添加的cookie並沒有效果。後來在網上查了資料，發現如果要攜帶cookie的話是需要設置的，如下所示： 在settings文件第37行的地方，默認是註釋掉的，

>>阅读原文<<