爬蟲數據存儲--基於MonogoDB

"當然, 並不是所有數據都適合" 在學習爬蟲的過程中, 遇到過不少坑. 今天這個坑可能以後你也會遇到, 隨着爬取數據量的增加, 以及爬取的網站數據字段的變化, 以往在爬蟲入門時使用的方法侷限性可能會驟增. 怎麼個驟增法? Intro 引例 在爬蟲入門的時候, 我們爬取豆瓣電影Top250這些數據量並不是很大的網頁時(僅計算文本數據量), 通常無需考慮數據存儲的效率問題, 使用MySQL這些關係型數

>>阅读原文<<