Python數據爬蟲學習筆記（18）Scrapy天善智能網課信息爬蟲

一、需求：爬取天善智能網站中的所有網課的信息，包括網課名稱、學習人數以及鏈接。 二、Scrapy實現思路：使用傳統的方法，找尋每個網課的URL規律，使用for循環來循環爬取網課網頁的信息。 三、URL及源代碼分析： 1、URL分析，注意到網課的URL由+網課編號組成，不斷更換網課編號進行測試注意到，網課編號是連續的且最大值爲294（截至發博文的日期）。 2、源代碼分析，觀察網課網頁中的源代碼，找尋

>>阅读原文<<