[轉載]網絡爬蟲（12）：爬蟲框架Scrapy的第一個爬蟲示例入門教程

我們使用dmoz.org這個網站來作爲小抓抓一展身手的對象。   首先先要回答一個問題。 問：把網站裝進爬蟲裏，總共分幾步？ 答案很簡單，四步： 新建項目 (Project)：新建一個新的爬蟲項目 明確目標（Items）：明確你想要抓取的目標 製作爬蟲（Spider）：製作爬蟲開始爬取網頁 存儲內容（Pipeline）：設計管道存儲爬取內容   好的，基本流程既然確定了，那接下來就一步一步的完成就

>>阅读原文<<