Urllib是python内置的HTTP請求庫
包括以下子產品
urllib.request 請求子產品
urllib.error 異常處理子產品
urllib.parse url解析子產品
urllib.robotparser robots.txt解析子產品
關于urllib.request.urlopen參數的介紹：
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
url參數的使用
先寫一個簡單的例子：
urlopen一般常用的有三個參數，它的參數如下：
urllib.requeset.urlopen(url,data,timeout)
response.read()可以擷取到網頁的内容，如果沒有read()，将傳回如下内容
data參數的使用
上述的例子是通過請求百度的get請求獲得百度，下面使用urllib的post請求
模拟各種請求操作）。
這裡就用到urllib.parse，通過bytes(urllib.parse.urlencode())可以将post資料進行轉換放到urllib.request.urlopen的data參數中。這樣就完成了一次post請求。
是以如果我們添加data參數的時候就是以post請求方式請求，如果沒有data參數就是get請求方式
timeout參數的使用
在某些網絡情況不好或者伺服器端異常的情況會出現請求慢的情況，或者請求異常，是以這個時候我們需要給
請求設定一個逾時時間，而不是讓程式一直在等待結果。例子如下：
運作之後我們看到可以正常的傳回結果，接着我們将timeout時間設定為0.1
運作程式會提示如下錯誤
是以我們需要對異常進行抓取，代碼更改為
響應類型、狀态碼、響應頭
可以看到結果為：<class 'http.client.httpresponse'="">
我們可以通過response.status、response.getheaders().response.getheader("server")，擷取狀态碼以及頭部資訊
response.read()獲得的是響應體的内容
當然上述的urlopen隻能用于一些簡單的請求，因為它無法添加一些header資訊，如果後面寫爬蟲我們可以知道，很多情況下我們是需要添加頭部資訊去通路目标站的，這個時候就用到了urllib.request
設定Headers
有很多網站為了防止程式爬蟲爬網站造成網站癱瘓，會需要攜帶一些headers頭部資訊才能通路，最長見的有user-agent參數
寫一個簡單的例子：
給請求添加頭部資訊，進而定制自己請求網站是時的頭部資訊
添加請求頭的第二種方式
這種添加方式有個好處是自己可以定義一個請求頭字典，然後循環進行添加
進階用法各種handler
代理,ProxyHandler
通過rulllib.request.ProxyHandler()可以設定代理,網站它會檢測某一段時間某個IP 的通路次數，如果通路次數過多，它會禁止你的通路,是以這個時候需要通過設定代理來爬取資料
cookie,HTTPCookiProcessor
cookie中儲存中我們常見的登入資訊，有時候爬取網站需要攜帶cookie資訊通路,這裡用到了http.cookijar，用于擷取cookie以及存儲cookie
同時cookie可以寫入到檔案中儲存，有兩種方式http.cookiejar.MozillaCookieJar和http.cookiejar.LWPCookieJar()，當然你自己用哪種方式都可以
具體代碼例子如下：
http.cookiejar.MozillaCookieJar()方式
http.cookiejar.LWPCookieJar()方式
同樣的如果想要通過擷取檔案中的cookie擷取的話可以通過load方式，當然用哪種方式寫入的，就用哪種方式讀取。
在很多時候我們通過程式通路頁面的時候，有的頁面可能會出現錯誤，類似404，500等錯誤
這個時候就需要我們捕捉異常，下面先寫一個簡單的例子
上述代碼通路的是一個不存在的頁面，通過捕捉異常，我們可以列印異常錯誤
這裡我們需要知道的是在urllb異常這裡有兩個個異常錯誤：
URLError,HTTPError，HTTPError是URLError的子類
URLError裡隻有一個屬性：reason,即抓異常的時候隻能列印錯誤資訊，類似上面的例子
HTTPError裡有三個屬性：code,reason,headers，即抓異常的時候可以獲得code,reson，headers三個資訊，例子如下：
同時，e.reason其實也可以在做深入的判斷，例子如下：
urlparse
The URL parsing functions focus on splitting a URL string into its components, or on combining URL components into a URL string.
urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)
功能一：
結果為：
這裡就是可以對你傳入的url位址進行拆分
同時我們是可以指定協定類型：
這樣拆分的時候協定類型部分就會是你指定的部分，當然如果你的url裡面已經帶了協定，你再通過scheme指定的協定就不會生效
urlunpars
其實功能和urlparse的功能相反，它是用于拼接，例子如下：
結果如下
urljoin
這個的功能其實是做拼接的，例子如下：
從拼接的結果我們可以看出，拼接的時候後面的優先級高于前面的url
urlencode
這個方法可以将字典轉換為url參數，例子如下
所有的努力都值得期許，每一份夢想都應該灌溉！