網絡爬蟲之Scrapy實戰一

我們用scrapy來爬取一個具體的網站。以迅讀網站爲例。 如下是首頁的內容，我想要得到文章列表以及對應的作者名稱。 首先在items.py中定義title, author. 這裏的Test1Item和Django中的modul作用類似。這裏可以將Test1Item看做是一個容器。這個容器繼承自scrapy.Item. 而Item又繼承自DictItem。因此可以認爲Test1Item就是一個字典的

>>阅读原文<<