python爬蟲之scrapy框架介紹

前言 運用request模塊已經能爬取百分之90的網站了，那麼scrapy框架是爲了解決那百分之10的網站嗎？ 答案是否定的。scrapy的目的是爲了讓爬蟲更加的高效，簡介 使用 導入模塊 pip install scrapy 創建項目(mySpider是項目名) scrapy startproject mySpider 會出現下面的目錄 下面來簡單介紹一下各個主要文件的作用： scrapy.cf

>>阅读原文<<