爬蟲 - scrapy 框架 - 爬取頁面顯示，root.txt重定向 - 爬蟲協議

  當進行初步測試的時候，發現執行默認程序的時候，不輸出回調函數的執行內容，頁面訪問被重定向到了roots.txt文件 解決方法：對配件文件進行相應更改，讓程序不支持爬蟲協議，不允許重定向。 執行結果，按照程序意圖獲取數據。

>>阅读原文<<