Python爬蟲（1.爬蟲的基本概念）

爬蟲的基本概念 1.   網絡爬蟲的組成 網絡爬蟲由控制結點、爬蟲結點、資源庫構成，如圖1 所示： 圖1 網絡爬蟲的控制節點和爬蟲節點結構的關係 可以看到，網絡爬蟲中可以有多個控制節點，每個控制節點下可以有多個爬蟲節點，控制節點之間可以互相通信，同時，控制節點和其下的各爬蟲節點之間也可以進行互相通信，屬於同一個控制節點下的各爬蟲節點間，亦可以互相通信。 控制節點，也叫做爬蟲的中央控制器，主要負責根

>>阅读原文<<