Python 标準庫 urllib2 的使用細節

python 标準庫中有很多實用的工具類，但是在具體使用時，标準庫文檔上對使用細節描述的并不清楚，比如 urllib2 這個 http 用戶端庫。這裡總結了一些 urllib2 的使用細節。

proxy 的設定

timeout 設定

在 http request 中加入特定的 header

redirect

cookie

使用 http 的 put 和 delete 方法

得到 http 的傳回碼

debug log

urllib2 預設會使用環境變量 http_proxy 來設定 http proxy。如果想在程式中明确控制 proxy 而不受環境變量的影響，可以使用下面的方式

在老版 python 中，urllib2 的 api 并沒有暴露 timeout 的設定，要設定 timeout 值，隻能更改 socket 的全局 timeout 值。

在 python 2.6 以後，逾時可以通過 urllib2.urlopen() 的 timeout 參數直接設定。

要加入 header，需要使用 request 對象：

對有些 header 要特别留意，伺服器會針對這些 header 做檢查

user-agent : 有些伺服器或 proxy 會通過該值來判斷是否是浏覽器發出的請求

content-type : 在使用 rest 接口時，伺服器會檢查該值，用來确定 http body 中的内容該怎樣解析。常見的取值有：

application/xml ： 在 xml rpc，如 restful/soap 調用時使用

application/json ： 在 json rpc 調用時使用

application/x-www-form-urlencoded ： 浏覽器送出 web 表單時使用

在使用伺服器提供的 restful 或 soap 服務時， content-type 設定錯誤會導緻伺服器拒絕服務

urllib2 預設情況下會針對 http 3xx 傳回碼自動進行 redirect 動作，無需人工配置。要檢測是否發生了 redirect 動作，隻要檢查一下 response 的 url 和 request 的 url 是否一緻就可以了。

如果不想自動 redirect，除了使用更低層次的 httplib 庫之外，還可以自定義 httpredirecthandler 類。

urllib2 對 cookie 的處理也是自動的。如果需要得到某個 cookie 項的值，可以這麼做：

urllib2 隻支援 http 的 get 和 post 方法，如果要使用 http put 和 delete ，隻能使用比較低層的 httplib 庫。雖然如此，我們還是能通過下面的方式，使 urllib2 能夠發出 put 或 delete 的請求：

這種做法雖然屬于 hack 的方式，但實際使用起來也沒什麼問題。

對于 200 ok 來說，隻要使用 urlopen 傳回的 response 對象的 getcode() 方法就可以得到 http 的傳回碼。但對其它傳回碼來說，urlopen 會抛出異常。這時候，就要檢查異常對象的 code 屬性了：

使用 urllib2 時，可以通過下面的方法把 debug log 打開，這樣收發包的内容就會在螢幕上列印出來，友善調試，有時可以省去抓包的工作