scrapy框架之items項目

Items

　　主要目標是從非結構化來源（一般是網頁）提取結構化數據。Scrapy爬蟲能夠將提取的數據做爲Python語句返回。雖然方便和熟悉，Python dicts缺少結構：很容易在字段名稱中輸入錯誤或返回不一致的數據，特別是在與許多爬蟲的大項目。

　　要定義公共輸出數據格式，Scrapy提供Item類。 Item對象是用於收集所抓取的數據的簡單容器。它們提供了一個相似字典的 API，具備用於聲明其可用字段的方便的語法。

　　各類Scrapy組件使用項目提供的額外信息：導出器查看聲明的字段以計算要導出的列，序列化可使用項字段元數據trackref 定製，跟蹤項實例以幫助查找內存泄漏（請參閱使用trackref調試內存泄漏）等。

聲明項目

使用簡單的類定義語法和Field 對象來聲明項目。這裏是一個例子：

import scrapy

class Product(scrapy.Item):
    name = scrapy.Field()
    price = scrapy.Field()
    stock = scrapy.Field()
    last_updated = scrapy.Field(serializer=str)

注意

熟悉Django的人會注意到Scrapy Items被聲明爲相似於Django Models，只是Scrapy Items比較簡單，由於沒有不一樣字段類型的概念。

項目字段

Field對象用於爲每一個字段指定元數據。例如，last_updated上面示例中所示的字段的序列化函數。

您能夠爲每一個字段指定任何種類的元數據。對Field對象接受的值沒有限制。出於一樣的緣由，沒有全部可用元數據鍵的參考列表。Field對象中定義的每一個鍵能夠由不一樣的組件使用，而且只有那些組件知道它。您也能夠定義和使用Field項目中的任何其餘 鍵，爲您本身的須要。Field對象的主要目標 是提供一種在一個地方定義全部字段元數據的方法。一般，那些行爲取決於每一個字段的組件使用某些字段鍵來配置該行爲。您必須參考他們的文檔，以查看每一個組件使用哪些元數據鍵。

重要的是要注意，Field用於聲明項目的對象不會被分配爲類屬性。相反，能夠經過Item.fields屬性訪問它們。

使用項目

下面是使用上面聲明的Product項目對項目執行的常見任務的一些示例 。你會注意到API很是相似於dict API。

在爬蟲文件中導入Product這個項目類;

import scrapy
from taobao.items import Product

class DowloadTaobaoSpider(scrapy.Spider):
    name = 'dowload_taobao'
    allowed_domains = ['www.taobao.com']
    start_urls = ['http://www.taobao.com/']

    def parse(self, response):
        # 實例化Product
        product = Product(name='Desktop PC', price=1000)

獲取字段值

>>> product['name']
Desktop PC
>>> product.get('name')
Desktop PC

>>> product['price']
1000

>>> product['last_updated']
Traceback (most recent call last):
    ...
KeyError: 'last_updated'

>>> product.get('last_updated', 'not set')
not set

>>> product['lala'] # getting unknown field
Traceback (most recent call last):
    ...
KeyError: 'lala'

>>> product.get('lala', 'unknown field')
'unknown field'

>>> 'name' in product  # is name field populated?
True

>>> 'last_updated' in product  # is last_updated populated?
False

>>> 'last_updated' in product.fields  # is last_updated a declared field?
True

>>> 'lala' in product.fields  # is lala a declared field?
False

設置字段值

>>> product [ 'last_updated' ]  =  'today' 
>>> product [ 'last_updated' ] 
today

>>> product [ 'lala' ]  =  'test'  ＃設置未知字段
Traceback（最近調用最後一次）：
    ... 
KeyError：'產品不支持字段：lala'

訪問全部填充值

要訪問全部填充值，只需使用典型的dict API：

>>> product.keys()
['price', 'name']

>>> product.items()
[('price', 1000), ('name', 'Desktop PC')]

複製項目

要複製項目，必須首先決定是要淺副本仍是深副本。

若是您的物品包含 mutable 值如列表或字典，一個淺拷貝將在全部不一樣的拷貝中保持對相同可變值的引用。

例如，若是您有一個帶有標記列表的項目，而且您建立了該項目的淺副本，那麼原始項目和副本都具備相同的標記列表。向其中一個項目的列表中添加標記也會將標記添加到另外一個項目中。

若是這不是所需的行爲，請使用深度複製。

要建立項目的淺副本，能夠調用 copy() 在現有項上 (product2 = product.copy() ）或從現有項實例化項類 (product2 = Product(product) ）

要建立深度複製，請調用 deepcopy() 相反 (product2 = product.deepcopy() ）

其餘常見任務

從項目建立字典：

>>> dict(product) # create a dict from all populated values
{'price': 1000, 'name': 'Desktop PC'}

從dicts建立項目：

>>> Product({'name': 'Laptop PC', 'price': 1500})
Product(price=1500, name='Laptop PC')

>>> Product({'name': 'Laptop PC', 'lala': 1500}) # warning: unknown field in dict
Traceback (most recent call last):
    ...
KeyError: 'Product does not support field: lala'