python爬蟲架構

一.什麼是爬蟲    爬蟲是一段自動抓取互聯網信息的程序，用於抓取對我們有價值的互聯網信息 二.爬蟲的架構   python爬蟲架構主要由五個部分組成，分別是調度器，URL管理器，網頁下載器，網頁解析器，應用程序（展示或應用所爬取的有價值的程序）組成 調度器 相當於一臺電腦的cpu，負責調度URL管理器，網頁下載器，網頁解析器，應用程序之，以及協調他們的工作 URL管理器 網頁下載器 網頁解析器

>>阅读原文<<