聚焦Python分佈式爬蟲必學框架Scrapy 打造搜索引擎(四) - scrapy爬取技術文章網站

相關源碼 搭建scrapy的開發環境，本文介紹scrapy的常用命令以及工程目錄結構分析，本文中也會詳細的講解xpath和css選擇器的使用。然後通過scrapy提供的spider完成所有文章的爬取。然後詳細講解item以及item loader方式完成具體字段的提取後使用scrapy提供的pipeline分別將數據保存到json文件以及mysql數據庫中. 首先爬取一個網站前，我們需要分析網絡的

>>阅读原文<<