關於Splash負載均衡配置 在Python3爬蟲裏的詳解

用Splash做頁面抓取時，如果爬取的任務非常多且量非常大，用一個Splash服務來處理的話壓力很大，此時可以考慮搭建一個負載均衡器來把壓力分散到各個服務器上。這相當於多臺機器多個服務共同參與任務的處理，可以減小單個Splash服務的壓力。 1. 配置Splash服務 要搭建Splash負載均衡，首先要有多個Splash服務。假如這裏在4臺遠程主機的8050端口上都開啓了Splash服務，它們的服

>>阅读原文<<