在C#用HttpWebRequest中發送GET/HTTP/HTTPS請求

這個需求來自于我最近練手的一個項目，在項目中我需要将一些自己發表的和收藏整理的網文集中到一個地方存放，如果全部采用手工操作工作量大而且繁瑣，是以周公決定利用C#來實作。在很多地方都需要驗證使用者身份才可以進行下一步操作，這就免不了POST請求來登入，在實際過程中發現有些網站登入是HTTPS形式的，在解決過程中遇到了一些小問題，現在跟大家分享。

 通用輔助類

 下面是我編寫的一個輔助類，在這個類中采用了HttpWebRequest中發送GET/HTTP/HTTPS請求，因為有的時候需要擷取認證資訊（如Cookie），是以傳回的是HttpWebResponse對象，有了傳回的HttpWebResponse執行個體，可以擷取登入過程中傳回的會話資訊，也可以擷取響應流。

 代碼如下：

using System;  

using System.Collections.Generic;  

using System.Linq;  

using System.Text;  

using System.Net.Security;  

using System.Security.Cryptography.X509Certificates;  

using System.DirectoryServices.Protocols;  

using System.ServiceModel.Security;  

using System.Net;  

using System.IO;  

using System.IO.Compression;  

using System.Text.RegularExpressions;  

/*   

 * 作者：周公(zhoufoxcn)   

 * 日期：2011-05-08   

 * 原文出處：http://blog.csdn.net/zhoufoxcn 或http://zhoufoxcn.blog.51cto.com   

 * 版權說明：本文可以在保留原文出處的情況下使用于非商業用途，周公對此不作任何擔保或承諾。   

 * */  

namespace BaiduCang  

{  

    /// <summary>  

    /// 有關HTTP請求的輔助類  

    /// </summary>  

    public class HttpWebResponseUtility  

    {  

        private static readonly string DefaultUserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)";  

        /// <summary>  

        /// 建立GET方式的HTTP請求  

        /// </summary>  

        /// <param name="url">請求的URL</param>  

        /// <param name="timeout">請求的逾時時間</param>  

        /// <param name="userAgent">請求的用戶端浏覽器資訊，可以為空</param>  

        /// <param name="cookies">随同HTTP請求發送的Cookie資訊，如果不需要身份驗證可以為空</param>  

        /// <returns></returns>  

        public static HttpWebResponse CreateGetHttpResponse(string url,int? timeout, string userAgent,CookieCollection cookies)  

        {  

            if (string.IsNullOrEmpty(url))  

            {  

                throw new ArgumentNullException("url");  

            }  

            HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;  

            request.Method = "GET";  

            request.UserAgent = DefaultUserAgent;  

            if (!string.IsNullOrEmpty(userAgent))  

                request.UserAgent = userAgent;  

            if (timeout.HasValue)  

                request.Timeout = timeout.Value;  

            if (cookies != null)  

                request.CookieContainer = new CookieContainer();  

                request.CookieContainer.Add(cookies);  

            return request.GetResponse() as HttpWebResponse;  

        }  

        /// 建立POST方式的HTTP請求  

        /// <param name="parameters">随同請求POST的參數名稱及參數值字典</param>  

        /// <param name="requestEncoding">發送HTTP請求時所用的編碼</param>  

        public static HttpWebResponse CreatePostHttpResponse(string url,IDictionary<string,string> parameters,int? timeout, string userAgent,Encoding requestEncoding,CookieCollection cookies)  

            if(requestEncoding==null)  

                throw new ArgumentNullException("requestEncoding");  

            HttpWebRequest request=null;  

            //如果是發送HTTPS請求  

            if(url.StartsWith("https",StringComparison.OrdinalIgnoreCase))  

                ServicePointManager.ServerCertificateValidationCallback = new RemoteCertificateValidationCallback(CheckValidationResult);  

                request = WebRequest.Create(url) as HttpWebRequest;  

                request.ProtocolVersion=HttpVersion.Version10;  

            else  

            request.Method = "POST";  

            request.ContentType = "application/x-www-form-urlencoded";  

                request.UserAgent = DefaultUserAgent;  

            //如果需要POST資料  

            if(!(parameters==null||parameters.Count==0))  

                StringBuilder buffer = new StringBuilder();  

                int i = 0;  

                foreach (string key in parameters.Keys)  

                {  

                    if (i > 0)  

                    {  

                        buffer.AppendFormat("&{0}={1}", key, parameters[key]);  

                    }  

                    else  

                        buffer.AppendFormat("{0}={1}", key, parameters[key]);  

                    i++;  

                }  

                byte[] data = requestEncoding.GetBytes(buffer.ToString());  

                using (Stream stream = request.GetRequestStream())  

                    stream.Write(data, 0, data.Length);  

        private static bool CheckValidationResult(object sender, X509Certificate certificate, X509Chain chain, SslPolicyErrors errors)  

            return true; //總是接受  

    }  

}  

 用法舉例

 這個類用起來也很簡單：

 （1）POST資料到HTTPS站點，用它來登入百度：

string loginUrl = "https://passport.baidu.com/?login";  

string userName = "userName";  

string password = "password";  

string tagUrl = "http://cang.baidu.com/"+userName+"/tags";  

Encoding encoding = Encoding.GetEncoding("gb2312");  

IDictionary<string, string> parameters = new Dictionary<string, string>();  

parameters.Add("tpl", "fa");  

parameters.Add("tpl_reg", "fa");  

parameters.Add("u", tagUrl);  

parameters.Add("psp_tt", "0");  

parameters.Add("username", userName);  

parameters.Add("password", password);  

parameters.Add("mem_pass", "1");  

HttpWebResponse response = HttpWebResponseUtility.CreatePostHttpResponse(loginUrl, parameters, null, null, encoding, null);  

string cookieString = response.Headers["Set-Cookie"];  

 （2）發送GET請求到HTTP站點

 在cookieString中包含了伺服器端傳回的會話資訊資料，從中提取了之後可以設定Cookie下次登入時帶上這個Cookie就可以以認證使用者的資訊，假設我們已經登入成功并且擷取了Cookie，那麼發送GET請求的代碼如下：

CookieCollection cookies = new CookieCollection();//如何從response.Headers["Set-Cookie"];中擷取并設定CookieCollection的代碼略  

response = HttpWebResponseUtility.CreateGetHttpResponse(tagUrl, null, null, cookies);  

 (3)發送POST請求到HTTP站點

 以登入51CTO為例

string loginUrl = "http://home.51cto.com/index.php?s=/Index/doLogin";  

parameters.Add("email", userName);  

parameters.Add("passwd", password);  

HttpWebResponse response = HttpWebResponseUtility.CreatePostHttpResponse(loginUrl, parameters, null, null, Encoding.UTF8, null);  

 總結

在本文隻是講解了在C#中發送請求到HTTP和HTTPS的用法，分GET/POST兩種方式，為減少一些繁瑣和機械的編碼，周公将其封裝為一個類，發送資料之後傳回HttpWebResponse對象執行個體，利用這個執行個體我們可以擷取伺服器端傳回的Cookie以便用認證使用者的身份繼續發送請求，或者讀取伺服器端響應的内容，不過在讀取響應内容時要注意響應格式和編碼，本來在這個類中還有讀取HTML和WML内容的方法（包括伺服器使用壓縮方式傳輸的資料），但限于篇幅和其它方面的原因，此處省略掉了。如有機會，在以後的文章中會繼續講述這方面的内容。