Spider Studio 數據挖掘集成開發環境

 

(最新版本: 2.7.12.1)

傳統的多線程蜘蛛程序雖然採集速度快, 可是明明不須要全部內容, 卻鬍子眉毛一把抓, 將整個網頁都下載下來看成一個文本進行處理. 因爲網頁內容良莠不齊, 因此抓取質量經常沒法保證; 在面對由ajax等動態技術呈現的信息時更是一籌莫展. 自從所見即所抓技術發明以後, 這一切便獲得了改觀. Spider Studio 以所見即所抓爲核心, 以腳本的方式來完成抓取, 而且提供了大量輔助功能.

功能特色

1. C# 腳本化抓取

好比下面這段代碼會打開本頁並將產品簡介提取出來顯示在對話框中.

更多腳本使用信息請查看 所見即所抓腳本指南

2. 可視化定位

用鼠標在頁面選擇須要的內容, 開發環境將自動計算對應元素的JQuery表達式, 方便咱們對其進行查看測試或者運用到腳本中.

3. 支持多級頁面聯合抓取

若是咱們要從產品列表獲取標題, 從詳細列表獲取具體參數的話. 多級頁面聯合抓取模型就可以發揮用場. 下面的例子是從GDT網站產品列表中找出"Spider Studio 集成開發環境"這款產品並打開顯示其HTML的代碼.

4. WSS 數據集成

若是您有WSS服務平臺, 那麼咱們強烈建議您將獲取的數據輸出到WSS中去. 只有這樣, 您纔可以最方便的分析, 挖掘和再利用您的寶貴數據, 並利用它們創造新的價值.

5. 探索和發佈腳本

歡迎光臨咱們的在線腳本庫 http://sipderstudio.gdtsearch.com/scripts

應用場景

1. 數據抓取

視頻: 百度搜索並提取搜索結果

2. Web自動化

視頻: 自動登陸京東, 檢查指定商品的價格並加入購物車

技術支持服務

QQ羣:  45995410

下載程序

本站下載