python爬取並下載麥子學院所有****

一、主要思路 scrapy爬取是有課程地址及名稱 使用multiprocessing進行下載 就是爲了爬點視頻，所以是簡單的代碼堆砌 想而未實行，進行共享的方式 二、文件說明 itemsscray字段 piplines.py存儲數據庫 setting.py scrapy配置 需要注意的是DEFAULT_REQUEST_HEADERS的設置，需要模擬登錄 mz.py是主要爬蟲 都是基本的爬蟲功能，c

>>阅读原文<<