[開源 .NET 跨平臺 數據採集 爬蟲框架: DotnetSpider] [一] 初衷與架構設計

一 ，爲什麼要造輪子 有興趣的同學可以去各大招聘網站看一下爬蟲工程師的要求，大多是JAVA，PYTHON甚至於還有NODEJS，C++，再或者在開源中國查詢C#的爬蟲，僅有幾個非常簡單或是幾年沒有更新的項目。從我看的一些文章來說，單純性能上.NET對比JAVA，PYTHON並沒有處於弱勢，另根據我多年的開發經驗大多爬蟲性能瓶頸在併發下載（網速）、IP池，因此我認爲用C#寫一個爬蟲框架絕對是可行的，

>>阅读原文<<