.NetCore實踐爬蟲系統(二)自定義規則

回顧 上篇文章NetCore實踐爬蟲系統(一)解析網頁內容 我們講了利用HtmlAgilityPack,輸入XPath路徑,識別網頁節點,獲取我們需要的內容。評論中也得到了大家的一些支持與建議。下面繼續我們的爬蟲系統實踐之路。本篇文章不包含依賴注入/數據訪問/UI界面等,只包含核心的爬蟲相關知識,只能作爲Demo使用,拋磚引玉,共同交流。 抽象規則 爬蟲系統之所以重要,正是他能支持各種各樣的數據。
相關文章
相關標籤/搜索