關於scrapy爬取搜狐新聞網站的一點心得和體會

1，環境： 本人原本使用的是win 10（CPUi5,內存8G）的環境，但自己想搭建一個分佈式的爬蟲,於是自己想到了虛擬機，虛擬機的環境爲Ubuntu14.04，但是由於各種原因，虛擬機中的python環境(python環境要求爲python3.5+)已經被我弄亂了，我在網上看到說Ubuntu16.04中有默認的python3.5+,於是果斷地用了Ubuntu16.04 2,當環境切換爲Ubunt

>>阅读原文<<