爬蟲大規模高併發服務器利用負載均衡優化

一、寫出成功運行程序了是第一步，後續要考慮程序的茁壯、穩定、大規模、併發等問題了 這裏針對服務器的負載均衡參數htop命令查看，進而來優化爬蟲程序更高速的抓取和利用服務器資源，能夠看着優化增長線程等等方式 二、優化程序 能夠經過建立隊列方式，設置while循環和條件隊列不爲空判斷一直執行下去，而後對於負載能夠平衡增減協程數量進行優化web if __name__ == "__main__":

>>阅读原文<<