python爬蟲架構

一.什麼是爬蟲    爬蟲是一段自動抓取互聯網信息的程序，用於抓取對咱們有價值的互聯網信息python 二.爬蟲的架構   python爬蟲架構主要由五個部分組成，分別是調度器，URL管理器，網頁下載器，網頁解析器，應用程序（展現或應用所爬取的有價值的程序）組成架構 調度器 至關於一臺電腦的cpu，負責調度URL管理器，網頁下載器，網頁解析器，應用程序之，以及協調他們的工做 URL管理器 網頁下載

>>阅读原文<<