蜘蛛，爬蟲多,代碼質量差下的相對供求平衡策略

需求分析： 由於種種問題，導致蜘蛛訪問和抓取量大的的時候，後臺數據庫高負載，影響正常的用戶訪問和英文平臺的訪問！比較推薦的做法是寫robot.txt文件，但seo方面又希望對蜘蛛訪問不做速度和頁面方面的限制，典型的僧多粥少場景，或者使用oracle的資源計劃來限制數據庫用戶的會話連接數，但可能對正常的用戶造成影響！所以想做一個相對智能的腳本對爬蟲進行適當的限制，保證數據庫服務器負載正常的情況下，最

>>阅读原文<<