新浪微博爬蟲階段總結

首先，這是項目地址。 作這個爬蟲的過程當中，遇到了無數的坑，可是還好都填補上了，可是仍是有幾個問題實在是難以解決。暫時先記錄以下。python MySQL的bug？python執行時傳入了正確的語句，可是卻出現了插入了錯誤的數據 分屬不一樣文件的消費者生產者不把隊列賦值給類的屬性,並做爲參數傳入子進程沒法進行通訊 cannot serialize _io.BufferedReader object

>>阅读原文<<