一起來看一下Python爬蟲的迷你爬蟲架構--這些你熟悉嗎？

語言&環境 語言：繼續用Python開路！ 一個迷你框架 下面以比較典型的通用爬蟲爲例，分析其工程要點，設計並實現一個迷你框架。架構圖如下： 代碼結構： config_load.py 配置文件加載 crawl_thread.py 爬取線程 mini_spider.py 主線程 spider.conf 配置文件 url_table.py url隊列、url表 urls.txt 種子url集合 web

>>阅读原文<<