python 爬蟲第一天

1.爬蟲框架安裝 如果直接用Requests Selenium 等庫寫爬蟲，爬取量不是太大，速度要求不高是可以的 我們可以用爬蟲框架：pyspider 和scrapy pyspider 是國人binux編寫的強大網絡爬蟲框架，帶有強大的webUI 腳本編輯器 任務監聽器，項目管理器及結果處理器，結果支持多種數據庫後端，多種消息隊列，。 pyspider 支持JS渲染，依賴於PhantonJS，需安

>>阅读原文<<