Python爬蟲入門教程 39-100 天津市科技計劃項目成果庫數據抓取 scrapy

爬前叨叨 緣由 今天本來沒有打算抓取這個網站的，無意中看到某個微信羣有人問了一嘴這個網站，想看一下有什麼特別複雜的地方，一頓操作下來，發現這個網站除了卡慢，經常自己宕機以外，好像還真沒有什麼特殊的… 爬取網址 http://cgk.kxjs.tj.gov.cn/navigation.do 有很明顯的分頁表示 列表如下 Request URL: http://cgk.kxjs.tj.gov.cn/n

>>阅读原文<<