Python數據爬蟲學習筆記（17）Scrapy糗事百科自動爬蟲

一、需求：在糗事百科主頁下，無需設置頁碼，自動爬取所有段子詳情頁的段子完整內容。 （1）糗事百科主頁： （2）段子詳情頁： 二、Scrapy實現思路：        在糗事百科主頁上自動提取出所有段子的詳情鏈接，在每個段字詳情頁中爬取段子內容。 三、網頁源代碼分析： 1、糗事百科段子詳情頁鏈接分析：注意到每個段子詳情的鏈接都含有「article」 2、糗事百科段子詳情頁源碼分析，注意到段子內容被c

>>阅读原文<<