我来做百科(第二十天) B

tag系统完成，再修复一些添加词条，修改内容的问题，就可以做数据采集了。

数据采集网上的资料很多，再结合自己的需要，写了一下代码：

protected void Button1_Click(object sender, EventArgs e)

    {

        Lemma lemma = new Lemma();

        Response.Write("采集结果：<br/><br/>");

        Response.Flush();

        for (int i = 0; i <= 3; i++)

        {

            string sUrl = strurl + (i * 10).ToString();

            Response.Write("采集url：" + sUrl + "<br/>");

            Response.Flush();

            foreach (string temp in GetHtmls(@"/view/\d+\.htm", GetUrlHtml(sUrl)))

            {

                string url = u + temp;

                string sHtml = GetUrlHtml(url);

                string sLemma = GetLemma(sHtml);

                string sDetail = GetDetail(sHtml);

                string sTag = GetTag(sHtml);

                int idLemma = lemma.AddLemma(sLemma, sDetail, "cloud", 0, string.Empty, url, sTag);

                StringBuilder sb = new StringBuilder();

                sb.Append("id：").Append(idLemma).Append("<br/> 词条：").Append(sLemma).Append("<br/>");

                sb.Append("Tag：").Append(sTag).Append("<br/> 连接：<a href='").Append(url).Append("'' target='_blank'>").Append(url).Append("</a><br/>");

                if (idLemma > 0)

                {

                    sb.Append("成功！").Append(" <a href='../index/show.aspx?id=").Append(idLemma).Append("' target='_blank'>查看</a>"); ;

                }

                else

                    sb.Append("失败！错误代码：").Append(idLemma);

                sb.Append("<br/><br/>");

                Response.Write(sb.ToString());

                Response.Flush();

            }

        }

    }

    public static string GetUrlHtml(string url)

        string output = "";

        Encoding encode = Encoding.Default;

        WebClient webclient = new WebClient();

        try

            webclient.Headers.Add("Referer", url);

            byte[] buff = webclient.DownloadData(url);

            output = encode.GetString(buff);

        catch

        return output;

    public static string GetHtml(string begin, string end, string content)

        return GetHtml(begin + "((.*?\\n?)*?)" + end, content);

    public static string GetHtml(string pattern, string content)

        Regex reg = new Regex(pattern);

        Match match = reg.Match(content);

        if (match != Match.Empty)

            //content = content.Replace(match.Groups[1].ToString(), string.Empty);

            return match.Groups[1].ToString();

        else

            return string.Empty;

    public static StringCollection GetHtmls(string begin, string end, string content)

        return GetHtmls(begin + "((.*?\\n?)*?)" + end, content);

    public static StringCollection GetHtmls(string pattern, string content)

        MatchCollection matches = reg.Matches(content);

        StringCollection list = new StringCollection();

        foreach (Match match in matches)

            if (match != Match.Empty)

                list.Add(match.Value);

        return list;

    /// <summary>

    /// 正则替换

    /// </summary>

    public static string ReplaceText(string input, string pattern, string replacement)

        if (string.IsNullOrEmpty(input)) return string.Empty;

        Regex rgx = new Regex(pattern, RegexOptions.IgnoreCase | RegexOptions.Multiline);

        return rgx.Replace(input, replacement);

    /// 去标签 包括内容

    public static string ClearWholeTag(string input, string tag)

        return ReplaceText(input, @"<" + tag + "[^>]*?>.*?</" + tag + ">", "");

    /// 去标签 不包括内容

    public static string ClearTag(string input, string tag)

        return ReplaceText(input, @"<\/?" + tag + "[^>]*>", "");

    /// 去全部标签

    public static string ClearAllTag(string input)

        return ReplaceText(input, @"<\/?[a-zA-Z]+[^>]*>", "");

数据采集就是爽，先来三百多条吧，哈哈。