利用redis的分佈式爬蟲

利用redis的分佈式爬蟲 redis是一個很是優秀的內存式key-value數據庫，支持set、list等，並且在python上十分好用，提供的接口基本和python原生的同樣。另外redis的各操做都具備原子性，所以用它來模擬緩存十分方便，甚至比直接寫多線程都方便，由於不用考慮數據同步的問題。爲了實際感覺一下，就在之前寫的爬蟲的基礎上修修改改，寫了這個分佈式的爬蟲。html 它由master.

>>阅读原文<<