Scrapy+redis+mongodb分佈式爬蟲抓取小說《冰與火之歌1-5》

一年前寫了python簡單實戰項目：《冰與火之歌1-5》角色關係圖譜構建的數據庫設計和數據可視化共現圖譜的構建，中間唯獨缺了數據的採集，因爲想着只是個小爬蟲，應該無關痛癢，後面也覺得這個系列缺了這一環不完美。前幾天想着還是補上，結果發現一年前寫的爬蟲失效了，故索性就再寫一個，然後就想着直接用上現在主流的scrapy框架以及redis、mongodb這兩個Nosql好了，以小見大。 代碼上傳到了Gi

>>阅读原文<<