你沒有看錯，爬網頁數據，C# 也能夠像 Jquery 那樣

時間 2020-09-23

標籤沒有看錯爬網數據 c# 能夠 jquery 那樣欄目 C# 简体版

原文原文鏈接

一：背景

1. 講故事

前段時間搞了一個地方性民生資訊號，資訊嘛，都是我抄你的，你抄官媒的，小市民都喜歡奇聞異事，因此就存在一個需求，如何去定向抓取奇聞異事的地方號上的新聞，其實作起來很簡單，用邏輯迴歸便可，這篇主要討論如何去抓取，在 C# 中你們都知道抓取通用的庫是 HtmlAgilityPack，可是這個庫主流的作法是採用 xpath 提取網頁內容，這就讓我很不爽了，畢竟不熟悉莫名的抵抗哈，像我這個年紀的碼農，被 Jquery 教育了至少 5-6 年，因此必須用類Jquery 的方式，在 python 中有 pyquery 作這件事情，那在 C# 中有沒有相似的方式呢？嘿嘿，萬能的 github 上還真有。。。就是本篇介紹的 CSQuery。css

二：CSQuery

1. 安裝

github的地址： https://github.com/zone117x/CsQuery 而後在vs中 nuget 一下便可：html

2. 舉幾個例子

一切都準備就緒了，那怎麼用呢？不着急，我以博客園舉兩個例子。html5

1) 將首頁中的友情鏈接提取到

如上圖，要想獲取這裏的 友情連接幾個大字，直接用 text() 確定是不行的，默認狀況它會將全部的子節點的文本也會抓到，以下圖：python

那怎麼處理呢？能夠用 jquery 提供的 contents 方法，而後在獲取的全部子節點中判斷是否有文本節點，最後獲取文本節點的內容便可，以下代碼：jquery

用js是搞定了，那用 CSQuery 代碼怎麼搞定呢？模仿唄，以下代碼：css3

static void Main(string[] args)
        {
            var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));

            var content = jquery["#friend_link"].Contents().Filter((dom) =>
            {
                return dom.NodeType == NodeType.TEXT_NODE;
            }).Text();

            Console.WriteLine(content);
        }

我不知道用 xpath 提取這樣的內容麻不麻煩，不過用 jquery 方式不簡單，但輕車熟路。git

2) 如何將 html 中的某些元素標顏色

有時候爲了業務須要將某些 html 標籤改一下顏色，好比說將首頁的 tabmenu 中 博問 和 專區 改爲紅色，以下圖：github

那用 CSQuery 怎麼處理呢？若是玩過 jquery，通常來講步驟以下：dom

使用 each 遍歷每個子 li 標籤3d
使用 CSS 方法給 li 中 a 標籤賦樣式
使用 Render 渲染生成一個新的的html

有了步驟，C#代碼以下：

static void Main(string[] args)
        {
            Config.HtmlEncoder = HtmlEncoders.None;

            var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));

            var html = jquery["#nav_left li"].Each(dom =>
               {
                   var self = jquery[dom];

                   var text = self.Text();

                   if (text == "博問" || text == "專區")
                   {
                       self.Find("a").CssSet(new { color = "red" });
                   }
               }).Render();
        }

3) 其餘的操做方法

除了上面兩個操做方法外，你還可使用 after，before，replaceAll,IS 等等一百來個實用的方法，這篇確定也沒法一一介紹了，你們有興趣能夠下載下來看一看，搗鼓搗鼓。

三：其餘用途

除了抓取html中的元素，我以爲這玩意還能夠用在發送郵件時操控郵件模板，畢竟在好久之前你們都是用jquery來繪製 html，因此用 CSQuery 也是能夠的，相對使用 xslt 有利有弊吧，接下來作一個例子：

1. 生成一個html模板

<!DOCTYPE html>

<html lang="en" xmlns="http://www.w3.org/1999/xhtml">
<head>
    <meta charset="utf-8" />
    <title></title>
</head>
<body>
    <ul id="main"></ul>
</body>
</html>

2. 使用 CSQuery 給 ul 追加 li

能夠用 Append 將內容追加到 <ul> 節點內。

class Program
    {
        static void Main(string[] args)
        {
            Config.HtmlEncoder = HtmlEncoders.None;

            var strlist = new string[2] { "1", "2" };

            var path = Environment.CurrentDirectory + "\\2.html";
            var jquery = CQ.CreateFromFile(path);

            foreach (var str in strlist)
            {
                jquery.Find("#main").Append($"<li>{str}</li>");
            }

            var html = jquery.Render();
        }
    }

3. 部分渲染 RenderSelection

Render方法是將整個Dom渲染成html，但有時候你只須要獲得你修改的那部份內容，而不是整個html，這就涉及到了部分渲染，能夠用 RenderSelection 方法便可，代碼以下：

static void Main(string[] args)
        {
            Config.HtmlEncoder = HtmlEncoders.None;

            var strlist = new string[2] { "1", "2" };

            var path = Environment.CurrentDirectory + "\\2.html";
            var jquery = CQ.CreateFromFile(path);

            var current = jquery.Find("#main");

            foreach (var str in strlist)
            {
                current.Append($"<li>{str}</li>");
            }

            var html = current.RenderSelection();

            Console.WriteLine(html);
        }

------------- output ----------------

<ul id="main"><li>1</li><li>2</li></ul>

四：總結

Jquery 這種操做模式對我我的來講仍是比較舒服的，畢竟熟！不過在 html5 中也新增了 querySelector 和 querySelectorAll 支持 css3 選擇器，很是強大，可 jquery 不光在選擇器的靈活上，還在於對節點的靈活操做上，總的來講不是特別富交互的狀況下能夠懷舊一把。