爬蟲的一些經驗和思考

微博爬蟲的一些經驗和思考 微博爬蟲的一些經驗和思考 1. 總結 2. todos 3. 基本路線 4. cookie 5. 代理 6. 驗證碼 7. Others 1. 總結 若是量不大，大型網站(微博，知乎)，建議直接使用路線2，省時省力 若是量不大，小型網站(反爬策略弱)，直接路線1web 2. todos 分佈式爬蟲 自建框架 scrapy 抓包，爬取app數據 3. 基本路線 reques

>>阅读原文<<