網絡爬蟲

階段大綱: 一. 爬蟲 1. 基本操作 - 登錄任意網站(僞造瀏覽器的任何行爲) 2. 性能相關 - 併發方案: - 異步IO: gevent/Twisted/asyncio/aiohttp - 自定義異步IO模塊 - IO多路複用:select 3. Scrapy框架 介紹:異步IO:Twisted - 基於Scrapy源碼自定義爬蟲框架 - 使用Scrapy 二. Tornado框架(異步非阻

>>阅读原文<<