爬蟲數據採集技術趨勢－智能化解析

爬蟲工做內容

互聯網做爲人類歷史最大的知識倉庫，是沒有充分結構化的。目前互聯網僅僅是一些文本等多媒體數據的聚合，內容雖然很是有價值，可是程序是沒法使用那些沒有結構化的數據。

 

在2006年左右，有專家提出的web3.0，語義互聯網，知識共享。雖然如今開放API，SOA概念愈來愈普及，真正語義上的互聯網的時代彷佛還很是遙遠。所以爬蟲依然是最重要的手段，一端不斷解析，聚合互聯網上的數據，另一端向各類各樣的的應用輸送數據。

 

現有爬蟲開發技術存在問題

從招聘市場崗位需求能夠看出，近年來對爬蟲工程師需求愈來愈強烈。

我的判斷緣由有兩個：

1. 信息聚合是互聯網公司的基本需求。

2. 數據時代到來，對數據更強烈的需求。

 

下面是我整理的部分靠爬蟲聚合信息的創業公司，按照時間順序排序：

• 搜索引擎聚合了網頁：百度,google,

• 機票比價網站：去哪兒，聚合各大航空公司票價

• 團購平臺：團800 聚合了團購網站信息。

• 比價網站聚合了各大電商平臺的商品價格：美麗說，蘑菇街，一淘

• 記帳理財產品聚合和消費者，信用卡，銀行卡信息：挖財和銅板街。

• 新聞聚合平臺：今日頭條

• p2p平臺聚合各大p2p借貸公司的信息：網貸之家，融360

• 風控公司須要收集企業公司，財務司法等信息：鵬元

• 徵信數據會收集了貸款者司法，社交，財務，大量和徵信相關信息：聚信立，量化派，zestfinace

   

最後5種類型，幾乎2014年都是開始。不少金融場景相關應用開始出現，這就對準確度和可靠性提出了更高的要求。但現有的爬蟲開發技術可否知足高可靠，大規模，高效率開發需求呢？

 

從軟件工程角度來看，一件事情若是沒法評估，那就沒法管理。爬蟲開發常常是被吐槽的緣由之一，就是工做量經常沒法評估。通常的軟件項目的開發過程隨着時間推動，工做量會逐漸減小，也是你們常常說的燃盡效果。

 

而爬蟲開發生命週期以下圖：

 

爬蟲開發主要有兩個方面內容：下載網頁，解析網頁。解析網頁大概佔據開發工做的80%左右。

 

下載網頁功能的開發工做，會涉及IP限制，驗證碼等問題，這樣問題都是能夠預期的。同時，隨着如今優秀的爬蟲框架和雲服務器的普及，問題解決起來會更輕鬆。

 

編寫解析代碼，雖然有一些基本工具chrome，firecdebug可使用，但始終須要人工分析，編寫解析規則。不管是使用xpath，正則表達式，css selector，都不能減小這一部分的工做量。

 

大量重複性工做會致使如下兩個問題：

1. 即便同類型的網頁看起來99%是同樣，也須要編寫獨立的爬蟲。這就會給人這樣一種感受——爬蟲開發大部分的工做內容是重複的。

2. 數據源網頁改版，幾乎整個爬蟲項目須要重作。重作的工做量幾乎是100%，爬蟲工程師心中每每是一萬隻羊駝跑過。如今不少徵信數據採集公司的合做夥伴，當數據源網站改版，經常須要一至兩天才能修復爬蟲，很明顯這種可靠性是沒法知足金融場景須要。

 

智能化解析

這是一張新浪新聞的圖片。

 

能夠發現，視覺上很容易瞭解到，新聞所報道的事件的標題，發表時間和正文。天然也會想到，可否經過一些機器學習的算法達到自動解析的目的？這樣就不用人工編寫解析額，減小重複勞動。在2008年開始，就要研究機構發表了相關論文。

www.cs.cmu.edu/~deepay/mywww/papers/www08-segments.pdf

research.microsoft.com/en-us/um/people/znie/p048.special.nie.pdf

也就是在2008有一家相關的創業公司，在斯坦福大學孵化。

 

DiffBot智能化數據採集公司

總部位於加州的Diffbot成立於2008年，創始人Mike Tung，是斯坦福畢業研究生。Diffbot是經過人工智能技術，讓「機器」識別網頁內容，抓取關鍵內容，並輸出軟件能夠直接識別的結構化數據。其創始人兼首席執行官Mike Tung表示，「Diffbot如今作的，至關於人類在瀏覽網頁文章時所作的事情，找出頁面中最核心的相關信息。」目前Diffbot已經發布了頭版API和文章API，還有產品API。服務的客戶包括三星、eBay、思科、美國在線等。

 

Diffbot的理念就是經過「視覺機器人」來掃描和識別不一樣的網頁類型（主要是非結構化的數據），再將這些豐富的數據源用於其餘應用。Mike Tung表示：「咱們在獲取頁面以後會對其進行分析，而後經過成熟先進的技術進行結構化處理。」以前我提到的we structure the world's knowledge，就是該公司提出的理念。

 

Diffbot在基於智能採集的基礎上，又開發出不少數據產品，好比知識圖譜，智能商業BI。在2016騰訊與硅谷風投機構Felicis Ventures領投了人工智能創業公司Diffbot 1000萬美圓的A輪融資，不少互聯網巨頭開始發現這家公司的價值。

 

算法實踐

經過智能方式來解析網頁須要兩個步驟：

1. 基於視覺上的網頁分割，將網頁分割幾個視覺塊。

2. 經過機器學習訓練的方式來判斷各個視覺塊的類型，是標題，仍是正文。其中主要流程和通常機器須要流程沒什麼區別。這就不詳細解釋。使用到使用的開源框架有：scikit-learn,phantomjs 

 

Scikit-Learn機器學習庫已經很是成熟，很容易上手。

phantomjs，是一個headless webkit渲染引擎。作爬蟲開發的同窗應該很是須要。

 

1. 網頁分割算法

   從Diffbot早期發佈的文章來看，是經過圖像處理的方式來切割視覺塊。使用到的算法有，邊界檢查，文字識別等算法。但這種方式計算量偏大，複雜度很高。

   另一種實現方式是基於Dom樹結構，導出所需的視覺特徵。

    

   聚合時候需用的特徵變量。主要考慮視覺相關的因素有元素在頁面上的位置，寬度和高度，Dom的層次。

   有一點須要注意的是，如今網頁不少是動態生成。須要藉助phantomjs工具來進行動態網頁渲染。

   聚類算法能夠選用的DBSCAN，DBSCAN算法優勢是更加密度來劃分，比起K-mean算法的優勢，是處理任意形狀的聚合。

    

   具體的實現方式能夠參考下面博文：http://blog.mapado.com/web-page-segmentation-by-visual-clustering/

    

2. 分類算法

   在第一步處理後，網頁上的標籤，會被劃分分若干類，須要判斷標籤的類型，是不是標題，正文，廣告，導航之類。須要整理出相似下面的，訓練矩陣。

   
   

整個學習過程與通常的機器學習訓練過程沒有區別。因爲數據樣本規模不大，分類算法基本算法採起。分類算法能夠選用樸素貝葉斯，或者SVM。

 

總結和展望

 

本文介紹的方式比較粗略，通常來講解析模型只能針對特定的網絡訓練解析模型，好比新聞，電商產品頁。因此不一樣類型的網頁，所須要的特徵變量有較大差異。針對不一樣特色類型數據，須要你們本身花時間去探索和實踐。

 

隨着數據時代和智能化時代到來，爬蟲做爲重要的數據來源，自身須要一些技術提高來適應時代的要求，這也就對爬蟲工程師提出更高的要求。成文粗陋，權且當作拋磚引玉，歡迎你們留言討論。