Scrapy: 爲什麼xpath和css明明是對的，但卻爬不到任何內容？

有很多小夥伴入門Scrapy的時候都會有這樣的疑問：明明寫的xpath和css是對的（就算真自己寫錯，那用谷歌或火狐返回的xpath和css不會錯的吧），但總是返回一個空列表。 解決辦法很簡單，改變自己的一個觀念就好：Scrapy爬蟲看到的頁面結構與我們自己在瀏覽器看到的可能並不一樣。 所以scrapy shell這種工具就非常有用了。 官方對它的說明是： The shell is used fo

>>阅读原文<<