複雜爬蟲編寫心得

1. 信息收集和網站地圖繪製比編程更重要。

2. 瀏覽器訪問效率的最大值是爬蟲效率的最低值。

3. 永遠不要使用selenium，儘可能不要使用phantomjs

4. 對於脾氣暴躁、技術能力強的網站，要讓爬蟲變的友善

5. 複雜爬蟲不宜過分優化，越冗餘，維護成本越低。

6. 儘可能使用api和手機端接口。