一:背景
1. 講故事
前段時間搞了一個地方性民生資訊号,資訊嘛,都是我抄你的,你抄官媒的,小市民都喜歡奇聞異事,是以就存在一個需求,如何去定向抓取奇聞異事的地方号上的新聞,其實做起來很簡單,用邏輯回歸即可,這篇主要讨論如何去抓取,在 C# 中大家都知道抓取通用的庫是 HtmlAgilityPack,但是這個庫主流的做法是采用 xpath 提取網頁内容,這就讓我很不爽了,畢竟不熟悉莫名的抵抗哈,像我這個年紀的碼農,被 Jquery 教育了至少 5-6 年,是以必須用 類Jquery 的方式,在 python 中有 pyquery 做這件事情,那在 C# 中有沒有類似的方式呢? 嘿嘿,萬能的 github 上還真有。。。 就是本篇介紹的 CSQuery。
二:CSQuery
1. 安裝
github的位址: https://github.com/zone117x/CsQuery 然後在vs中 nuget 一下即可:
2. 舉幾個例子
一切都準備就緒了,那怎麼用呢? 不着急,我以部落格園舉兩個例子。
1) 将首頁中的 友情連接配接 提取到
如上圖,要想擷取這裡的
友情連結
幾個大字,直接用 text() 肯定是不行的,預設情況它會将所有的子節點的文本也會抓到,如下圖:
那怎麼處理呢? 可以用 jquery 提供的 contents 方法,然後在擷取的所有子節點中判斷是否有 文本節點,最後擷取文本節點的内容即可,如下代碼:
用js是搞定了,那用 CSQuery 代碼怎麼搞定呢?模仿呗,如下代碼:
static void Main(string[] args)
{
var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));
var content = jquery["#friend_link"].Contents().Filter((dom) =>
{
return dom.NodeType == NodeType.TEXT_NODE;
}).Text();
Console.WriteLine(content);
}
我不知道用 xpath 提取這樣的内容麻不麻煩,不過用 jquery 方式不簡單,但輕車熟路。
2) 如何将 html 中的某些元素标顔色
有時候為了業務需要将某些 html 标簽改一下顔色,比如說将首頁的 tabmenu 中
博問
和
專區
改成紅色,如下圖:
那用 CSQuery 怎麼處理呢? 如果玩過 jquery,一般來說步驟如下:
- 使用 each 周遊每一個子 li 标簽
- 使用 CSS 方法給 li 中 a 标簽賦樣式
- 使用 Render 渲染生成一個新的的html
有了步驟,C#代碼如下:
static void Main(string[] args)
{
Config.HtmlEncoder = HtmlEncoders.None;
var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));
var html = jquery["#nav_left li"].Each(dom =>
{
var self = jquery[dom];
var text = self.Text();
if (text == "博問" || text == "專區")
{
self.Find("a").CssSet(new { color = "red" });
}
}).Render();
}
3) 其他的操作方法
除了上面兩個操作方法外,你還可以使用 after,before,replaceAll,IS 等等一百來個實用的方法,這篇肯定也無法一一介紹了,大家有興趣可以下載下傳下來看一看,搗鼓搗鼓。
三:其他用途
除了抓取html中的元素,我覺得這玩意還可以用在發送郵件時操控郵件模闆,畢竟在很久以前大家都是用jquery來繪制 html,是以用 CSQuery 也是可以的,相對使用 xslt 有利有弊吧,接下來做一個例子:
1. 生成一個html模闆
<!DOCTYPE html>
<html lang="en" xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta charset="utf-8" />
<title></title>
</head>
<body>
<ul id="main"></ul>
</body>
</html>
2. 使用 CSQuery 給 ul 追加 li
可以用 Append 将内容追加到
<ul>
節點内。
class Program
{
static void Main(string[] args)
{
Config.HtmlEncoder = HtmlEncoders.None;
var strlist = new string[2] { "1", "2" };
var path = Environment.CurrentDirectory + "\\2.html";
var jquery = CQ.CreateFromFile(path);
foreach (var str in strlist)
{
jquery.Find("#main").Append($"<li>{str}</li>");
}
var html = jquery.Render();
}
}
3. 部分渲染 RenderSelection
Render方法是将整個Dom渲染成html,但有時候你隻需要得到你修改的那部分内容,而不是整個html,這就涉及到了部分渲染,可以用
RenderSelection
方法即可,代碼如下:
static void Main(string[] args)
{
Config.HtmlEncoder = HtmlEncoders.None;
var strlist = new string[2] { "1", "2" };
var path = Environment.CurrentDirectory + "\\2.html";
var jquery = CQ.CreateFromFile(path);
var current = jquery.Find("#main");
foreach (var str in strlist)
{
current.Append($"<li>{str}</li>");
}
var html = current.RenderSelection();
Console.WriteLine(html);
}
------------- output ----------------
<ul id="main"><li>1</li><li>2</li></ul>
四:總結
Jquery 這種操作模式對我個人來說還是比較舒服的,畢竟熟! 不過在 html5 中也新增了 querySelector 和 querySelectorAll 支援 css3 選擇器,非常強大,可 jquery 不光在選擇器的靈活上,還在于對節點的靈活操作上,總的來說不是特别富互動的情況下可以懷舊一把。
更多高品質幹貨:參見我的 GitHub: dotnetfly