爬蟲的配置、啓動和終止

爬蟲的配置、啓動和終止 Spider Spider是爬蟲啓動的入口。在啓動爬蟲之前，我們需要使用一個PageProcessor創建一個Spider對象，然後使用run()進行啓動。 同時Spider的其他組件（Downloader、Scheduler、Pipeline）都可以通過set方法來進行設置。 ​​​​​​​爬蟲配置Site Site.me()可以對爬蟲進行一些配置配置，包括編碼、抓取間隔

>>阅读原文<<