squid爬蟲代理自動輪詢轉發

squid在作爬蟲代理時候,咱們只須要作到一個squid代理,而後對其餘代理作轉發輪詢,如何使用squid作代理並自動轉發輪詢?
加上這行代碼:緩存

cache_peer 120.xx.xx.32 parent 80 0 no-query weighted-round-robin weight=2 connect-fail-limit=2 allow-miss max-conn=5 name=proxy-90

注意,當120.xx.xx.32 是相同 可是端口不一樣的時候,必須設置不一樣的name,不然會報錯cache_peer 120.xx.xx.32 specified twice 這時候及得設置不一樣的name
這一行的語法是這樣的 cache_peer Web服務器地址 服務器類型 http端口 icp端口 [可選項], 可選項包括:服務器

proxy-only:指明從peer獲得的數據在本地不進行緩存,缺省地,squid是要緩存這部分數據的;
weight=n:用於你有多個peer的狀況,這時若是多於一個以上的peer擁有你請求的數據時,squid經過計算每一個peer的ICP響應時間來 決定其weight的值,而後squid向其中擁有最大weight的peer發出ICP請求。也即weight值越大,其優先級越高。固然你也能夠手工 指定其weight值;
no-query:不向該peer發送ICP請求。若是該peer不可用時,可使用該選項;
Default:有點象路由表中的缺省路由,該peer將被用做最後的嘗試手段。當你只有一個父代理服務器而且其不支持ICP協議時,可使用default和no-query選項讓全部請求都發送到該父代理服務器;
login=user:password:當你的父代理服務器要求用戶認證時可使用該選項來進行認證。
更新完成後保存重啓squid,就會發現 squid 已經正常可用了。ui

相關文章
相關標籤/搜索