爬蟲-化被動爲主動

一、前言 現在網上有很多被動式掃描器，配置一個代理給瀏覽器設置，然後人去點擊瀏覽器上的網頁，在這種模式下抓到的URL數量沒有用爬蟲的效果好。 我個人是比較懶的，先也寫了個被動的掃描器，不想改以前寫的東西，而且被動也有被動的優點，所以就想可不可以讓爬蟲也設置個代理。就有了下面的東西，很方便。 二、實操 如何在不改變原被動掃描器的情況下讓被動變成主動。 主結構： 以phantomjs爲核心，用JS模仿

>>阅读原文<<