垂直型爬蟲架構設計(2)

    上文提到了關於爬蟲的一些簡單概念與爬蟲真正要作的一些功能.簡單的分析了一下垂直型爬蟲與寬度(深度)遍歷的一些特色.如今,我主要針對於垂直型爬蟲的架構設計作一些簡單的介紹.

    1.垂直型爬蟲的基本需求

        目前企業級所需的基本上是垂直型爬蟲.輿情分析,財經資訊資訊推薦等.基本山使用的都是垂直型爬蟲來做爲企業級使用的方案,企業級爬蟲的特色我上篇博客裏面已經講過了,因此在作垂直型爬蟲架構的時候只須要考慮抓去內容所需的功能.簡單來講:拿到某篇資訊所需的方式或功能.例如:常見的 javascript方式,ajax等.

        簡單來列舉一些我在抓去數據時所遇到的一些問題:

        1.javascript調用正文    

        2.ajax方式獲取正文

        3.iframe方式

        4.驗證碼

        5.javascript調用下一頁鏈接

        6.javascript+post方式獲取下一頁鏈接

        7.ajax方式獲取內容

        8.登陸...

        等.

        這些都是須要在設計爬蟲之初就要考慮的問題,雖然簡單來講爬蟲就是獲取到需求所需的數據,可是不少時候數據的獲取也不是那麼簡單的.因此框架的總體設計是很是關鍵的,甚至對於爬蟲以後版本的發展都很重要,若是框架設計的不合理,發現新的問題就須要從新構建爬蟲或者直接針對遇到的問題設計爬蟲.這兩種方式都不是可取的.

    2.垂直型爬蟲框架

        以前提到,垂直型爬蟲抓去數據所需的連接發現-連接管理-連接下載。那麼便可根據這三塊把爬蟲暫時劃分爲三個小的模塊。1.連接解析    2.連接管理    3.連接下載.

         連接解析：

        那麼連接發現簡單來講就是把一個頁面下載完成以後根據必定的規則來獲取到所需的連接.如 xpath方式,dom方式等.比較經常使用的是xpath,java方向的解析包有Jsoup等.來解析內容.固然,遠遠沒有那麼簡單,僅僅是jsoup來解析確定是不夠的.可是咱們最終要實現的就是從一個頁面裏面獲取到想要繼續下載連接.那麼這個確定是須要放在連接下載模塊以後.連接下載完成以後解析新的連接(別告訴我沒有連接咋下載,剛開始都要寫個入口url的.例如http://www.baidu.com/search/url_submit.htm 百度的連接提交,就是讓爬蟲去抓這個頁面)

        連接下載:    

            好吧,這塊纔是整個爬蟲的重點.很是重要的地方,首先要求下載正確的內容,如:正文隱藏在iframe中,正文是javascript調用的,正文是須要轉碼的等等.固然正常的網站仍是不少的,簡單的咱們只是須要正常的頁面打開方式獲取就能夠了.如httpClient,HtmlParser,甚至直接使用Jsoup都可以獲取到內容.

Jsoup.connect("();

    固然,這樣獲取到的內容是源文件,沒有javascript解析等.可是至少，咱們已經成功獲取到了網頁內容.雖然簡單,可是是獲取成功了.好吧,下載模塊算是能夠實現.那麼咱們簡單來考慮一下,連接下載跟連接發現的步驟能夠是:咱們輸入一個url,連接下載模塊把連接下載下來,以後再去解析模塊解析出來咱們要繼續下載的連接,能夠根據xpath、dom等方式提取出咱們所須要的，垃圾連接，廣告連接，無用的連接剔除。而後加入到連接管理模塊。

        連接管理：

             連接管理模塊在整個垂直型爬蟲項目中是很是重要的,效率,準確等是很是關鍵的因素.當爬蟲開始抓取時,爬蟲生命週期中所接觸下載的全部連接都須要被連接管理模塊所管理,簡單的有生命週期版與持久化版本.連接管理所須要實現的功能    1.去重    2.判斷

    去重以前已經說過了,若是在生命週期中不進行連接去重,則有可能會讓爬蟲死在這個網站中...一直循環抓去頁面,沒法退出.那麼去重就是須要首先考慮的問題.可以讓爬蟲在抓取中判斷獲取到的新url是否以前抓過.是否須要下次抓取.

    判斷就是業務性的了,判斷這個url是否須要再次抓取. 如某個重點網站,在抓取以後發現該連接是否還要抓取, 又或者一個非重點網站,更新頻率較低.是否抓取到該網站時,放棄本次抓去,把資源讓給更新頻率較高的網站.等。那麼這樣連接管理就是須要在獲取到該連接的第一時間去去重、判斷。好吧，那就是連接發現以後獲取到的新連接加入到連接管理模塊中。

            這麼來看：咱們的爬蟲基本架構就出來了

            連接發現---連接管理---連接下載---連接發現-->循環一圈

            （不會畫圖，但願各位理解！）