scrapy基礎使用

編輯本隨筆 簡介: Scrapy:爲了爬去網站數據而編寫的一款應用框架,即集成了相應功能且具有很強通用性的項目模板。 功能: 高性能異步下載 解析操作 持久化存儲等 代理和cookie 日誌等級和請求傳參 CrawlSpider 基於redis的分佈式爬蟲 安裝:linux用pip install scrapy安裝即可,win安裝查找其他資料 基礎使用: 1.創建一個工程 命令:scrapy st
相關文章
相關標籤/搜索