pyspider介紹

Pyspider功能需求 pyspider是一個爬蟲架構的開源化實現。主要的功能需求是： 抓取、更新調度多站點的特定的頁面 需要對頁面進行結構化信息提取 靈活可擴展，穩定可監控 而這也是絕大多數python爬蟲的需求 —— 定向抓取，結構化化解析。但是面對結構迥異的各種網站，單一的抓取模式並不一定能滿足，靈活的抓取控制是必須的。爲了達到這個目的，單純的配置文件往往不夠靈活，於是，通過腳本去控制抓取

>>阅读原文<<