python3 Scrapy簡介

什麼是Scrapy Scrapy 是一套基於Twisted的異步處理框架,是純python實現的爬蟲框架。 Scrapy 是一個爲了爬取網站數據,提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘,信息處理或存儲歷史數據等一系列的程序中。 其最初是爲了網絡抓取所設計的,也可以應用在獲取API所返回的數據或者通用的網絡爬蟲。 用戶只需要定製開發幾個模塊就可以輕鬆的實現一個爬蟲,用來抓取網頁內容
相關文章
相關標籤/搜索