前嗅ForeSpider教程：字段的取值與清洗

今天小編爲你們帶來的教程是：如何在前嗅ForeSpider中進行，字段的取值與清洗。主要內容包括：自動取值字段，取值的兩個方法，和字段清洗方式。具體內容以下：

一，自動取值的字段包括哪些

當字段設置爲下列採集內容時，系統會自動爲字段賦值。
1.網頁地址：自動採集網頁的URL地址。
2.網頁標題：採集網頁的標題。即網頁<title>中的內容。
3.網頁內文字文本：採集整個頁面中全部可見的文字文本。
4.網頁內容：採集網頁所有文本，包含html標籤等，即整個頁面的源代碼。
5.網頁建立時間：文檔建立或網頁發佈的時間。
6.網頁更新時間：文檔或網頁更新的時間。
7.網頁獲取時間：ForeSpider採集該網頁的時間。
8.當前系統時間：數據採集入庫的時間。
9.文檔數據大小：採集對象的質量大小[單位:字節]。
10.文檔名稱：採集對象的文件名，如.html，.doc。
11.文檔後綴：文檔的文件名後綴，如html、pdf等。
12.文檔視寬：文檔的寬[若是是圖片數據則爲圖片的寬]。
13.文檔視高：文檔的高[若是是圖片數據則爲圖片的高]。
14.文檔層級：自動獲取從入口頁噹噹前數據頁的跳轉層級數目。
15.頻道ID：採集當前頻道的ID。
16.頻道名稱：採集當前頻道的名稱。

二，取值方法

1.標準定位
（1）標準定位含義
經過在內置瀏覽器上，定位有所需數據的區域，爲字段取值。大多數狀況都選擇「標準定位」。
（2）定位方法
①選擇：按Ctrl點擊頁面上相應數據的區域。
②擴大選區：按Shift再次點擊頁面相應區域。
③確認選區：點擊「確認選區」按鈕，選區生效。

標準定位

2.特徵定位
（1）特徵定位含義
當所需數據在不一樣網頁的位置不固定，且數據先後具備特徵性文字時，用標準定位容易錯位，須要使用特徵定位。
舉例：對於字符串「做者：*」，採集做者名稱時，可用「做者：」做爲特徵來定位。

（2）特徵定位的操做方法
① 選擇：按Ctrl點擊頁面上所需數據的區域。
② 識別特徵：點擊「識別特徵」，出現紅框，再次點擊，紅框移動到特徵字符串時確認。
③ 點擊「確認選區」按鈕，選區生效。

（3）特徵定位的類型
特徵定位分爲四種方式：
① 局部關鍵詞
當頁面的數據前有特定的關鍵詞，而各個頁面的表格內容、各行次序、行數又各不相同時，採用標準定位的方式就會錯亂。能夠根據表頭特徵，採集表格後的數據。與全文關鍵詞的區別是，局部關鍵詞只在選定區域的附近採集。
② 全文關鍵詞
根據選定的特徵關鍵詞，在全頁面採集該特徵關鍵詞先後對應的數據，若是出現多個特徵關鍵詞，以第一個爲主。若是想採集多個的話，能夠設定多值。>>查看多值的配置方式
③ 大文本
選定大文本區域後，自動識別各頁面的大文本，相比標準定位更加精確。
④ 特殊標籤
採集頁面中只出現一次的特殊標籤，如標題的<h1>標籤等。

三，字段清洗方式

在採集數據以前，經過使用字段處理，軟件能夠自動以某種過濾方式，清洗該字段的字符串數據。經過系統自帶的或腳本的方式，能夠預先清洗不須要的字符串。

字段處理

字段清洗的方式以下：

字段處理腳本是字段處理中選擇「腳本處理」後，經過腳本進一步把須要的數據清洗乾淨。具體配置方法須要參考腳本文檔。