Scrapy框架介紹

1.什麼是網絡爬蟲 網絡爬蟲是根據特定的規則在網絡上自動爬取所需信息的腳本或程序，分爲通用爬蟲和聚焦爬蟲，傳統的通用網絡爬蟲主要爲門戶站點搜索引擎和大型Web服務提供商採集數據，例如，我們常見的Yahoo，Google，百度等搜索引擎；通用網絡爬蟲在面對不同背景、不同知識領域的用戶檢索需求時，返回的結果中往往包含了大量用戶並不是真正關心的網頁及信息;各種數據載體和各種不同的數據形式大量出現。對於信

>>阅读原文<<