本人第一個開源代碼,NETSpider 網絡蜘蛛採集工具

NETSpider網站數據採集軟件是一款基於.Net平臺的開源軟件。
軟件部分功能是基本Soukey軟件進行開發的.這個版本採用VS2010+.NET3.5進行開發的.
NETSpider採摘當前提供的主要功能以下：

1. 多任務多線程數據採集，支持POST方式(待定)；
2. 可採集Ajax頁面；
3. 支持Cookie，支持手工登陸採集數據；
4. 支持採集事務；
5. 支持數據自動及手工導出，導出格式爲：文本、Excel、Access、MSSql、Mysql等；
6. 支持在線發佈數據；
7. 支持導航網址的採集，導航深度不限；
8. 支持自動翻頁；
9. 支持文件下載，能夠採集圖片、Flash及其餘文件；
10. 支持採集結果數據的加工，包括替換、附前綴後綴、截取等操做，支持正則；
11. 採集網址定義不只支持基本參數定義，也可外接字典數據做爲網址參數，進行數據採集；
12. 支持一個任務多實例運行；
13. 提供計劃任務，計劃任務支持NETSpider採集任務、外部可執行文件任務、數據庫存儲過程任務(還在開發中)；
14. 計劃任務執行週期支持天天、每週及自定義運行間隔；最小單位爲：半小時；
15. 支持任務觸發器，便可在採集任務完成後，自動觸發執行其餘任務（包括可執行文件或存儲過程）。
16. 完善的日誌功能：系統日誌、任務執行日誌、出錯日誌等等；

17. 系統提供MINI瀏覽器可用於捕獲Cookie或POST數據；

NETSpider採集器並不限制您是否商用此軟件，源碼徹底開放，

===================如下爲更新內容===================================

1. NETSpider於2014年10月1日開放

 

 

相關源碼下載:http://git.oschina.net/kingkoo1985/NETSpider/

 

1.目前這個版本還有不少的驗證未作處理,沒有時間(花了兩週的樣子寫成這樣子),因此添加的時候請按規定填寫數據

2.還有部分功能未實現.等有空我會繼續完善的