Python爬蟲：濾網架構處理爬蟲數據

業務場景： 1、爬蟲數據直接入庫會出現id自增過大的問題。要麼就入庫之前做一次查詢，確保數據不存在再插入，這樣一來就速度就減慢了。而且，爬蟲程序運行速度往往較快，查詢操作過多對數據庫造成壓力也不小。 2、一個表的數據分別來自不同地方，需要多個程序對其進行數據補全操作，這樣一來，就會出現數據缺失現象。如果直接入業務庫會出現數據不全，雖然不是bug，但是影響體驗 爲了解決以上兩個問題，採用了爬蟲數據

>>阅读原文<<