爬蟲初階(六)—— Scrapy框架(1)scrapy的基礎概念

1. Scrapy框架是什麼? Scrapy是一個爲了爬取網站數據,提取結構性數據而編寫的應用框架,我們只需要編寫少量的代碼,就能夠快速的抓取數據,Scrapy 使用了 Twisted異步網絡框架,可以加快我們的下載速度。 異步與非阻塞 異步:調用在發出之後,這個調用就直接返回,不管有無結果。 非阻塞:關注的是程序在等待調用結果(消息,返回值)時的狀態,指在不能立刻得到結果之前,該調用不會阻塞當前
相關文章
相關標籤/搜索