天天看点

Python网络爬虫与信息提取【Requests库的安装与用法】

1.Requests库的安装

Win平台:"windows+R"输入cmd,在命令行中输入

pip install requests

安装完成后可以通过

import requests

进行检测,不报错,证明安装成功

2.Requests库的7个主要方法

方法 说明
requests.request() 构造一个请求,支撑以下各方法的基础方法
requests.get() 获取HTML网页的主要方法,对应于HTTP的GET
requests.head() 获取HTML网页头信息的方法,对应于HTTP的HEAD
requests.post() 向HTML网页提交POST请求的方法,对应于HTTP的POST
requests.put() 向HTML网页提交PUT请求的方法,对应于HTTP的PUT
requests.patch() 向HTML网页提交局部修改请求,对应于HTTP的PATCH
requests.delete() 向HTML页面提交删除请求,对应于HTTP的DELETE

以get方法为例:

def get(url, params=None, **kwargs):
    r"""Sends a GET request.

    :param url: URL for the new :class:`Request` object.
    :param params: (optional) Dictionary, list of tuples or bytes to send
        in the body of the :class:`Request`.
    :param \*\*kwargs: Optional arguments that ``request`` takes.
    :return: :class:`Response <Response>` object
    :rtype: requests.Response
    """

    kwargs.setdefault('allow_redirects', True)
    return request('get', url, params=params, **kwargs)
           

参考get方法的文档可以看出get方法使用了request方法进行封装,也就是说request库一共提供7常用方法,除了第一个request方法外,其它的6个方法都是通过调用request方法实现的。其实也可以这样认为requests库其实只有一个方法,就是request方法,但是为了让大家编写程序更方便,提供了额外6个方法。

              r = requests.get ( url , params=None , **kwargs )

              url:拟获取页面的url链接

              params:url中的额外参数,字典或字节流格式,可选

              **kwargs:12个控制访问的参数

3.Requests库的2个重要对象

在requests库中,有两个重要的对象

同样我们以get方法为例:

# response对象包含服务器返回的所有信息,也包含请求的request信息
import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)
print(type(r))
# 200
# <class 'requests.models.Response'>
           
Python网络爬虫与信息提取【Requests库的安装与用法】

Response对象的属性

属性 说明
r.status_code HTTP请求的返回状态, 200表示连接成功, 404表示失败
r.text HTTP响应内容的字符串形式,即, url对应的页面内容
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出的响应内容编码方式(备选编码方式)
r.content HTTP响应内容的二进制形式
Python网络爬虫与信息提取【Requests库的安装与用法】

理解Response的编码:

—r.encoding:编码方式是从http的heder中的charset字段获得的,如果header中不存在charset,则默认认为编码为ISO-8859-1,这样的编码不能解析中文。

—r.apparent_encoding:根据http的内容部分,而不是头部分,去分析内容中出现文本可能的编码形式。即根据网页内容分析出的编码方式。

<!--HTML5网页代码基本框架-->
<!doctype html>
<html>
	<head>
		<meta charset="utf-8">
	<title>无标题文档</title>
	</head>
	<body>
		<!--网页主体-->
	</body>
</html>
           

为什么将r.apparent_encoding解析出来的编码方式赋给r.encoding后,网页中的中文就可以分析出来,难道r.text是以r.encoding的方式进行编码的吗?为什么头部分析出来的编码方式会与内容解析出来的不同?

理解Requests库的异常

异常 说明

requests.ConnectionError 网络连接错误异常,如DNS查询失败、拒绝连接等

requests.HTTPError HTTP错误异常

requests.URLRequired URL缺失异常

requests.TooManyRedirects 超过最大重定向次数, 产生重定向异常

requests.ConnectTimeout 连接远程服务器超时异常

requests.Timeout 请求URL超时,产生超时异常

r.raise_for_status():在方法内部判断r.status_code是否等于200,不需要增加额外的if语句,该语句便于利用try-except进行异常处理,如果状态码不是200,产生异常requests.HTTPError。

import requests
def getHTMLText(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        # print(r.status_code)
        return "产生异常!"
if __name__=="__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))
           

HTTP协议及Requests库方法

HTTP,HyperText Transfer Protocol,超文本传输协议。是一个基于“请求与响应”模式的、无状态的应用层协议。无状态指的是第一次请求与第二次请求之间并没有相关的关联。

HTTP协议采用URL作为定位网络资源的标识,URL格式如下:

http://host[:port][path]

host:合法的Internet主机域名或IP地址

port:端口号,缺省端口为80

path:请求资源的路径

HTTP实例: http://www.bit.edu.cn

http://220,181,111,188/duty

URL是通过HTTP协议存取资源的Internet路径,它就像我们电脑里边的一个文件的路径一样,只不过这个文件不在电脑里,在internet上,那每一个URL,对应了internet上的一个数据资源。

HTTP协议对资源的操作

方法 说明

GET 请求获取URL位置的资源

HEAD 请求获取URL位置资源的响应消息报告,即获得该资源的头部信息

POST 请求向URL位置的资源后附加新的数据

PUT 请求向URL位置存储一个资源,覆盖原URL位置的资源

PATCH 请求局部更新URL位置的资源,即改变该处资源的部分内容

DELETE 请求删除URL位置存储的资源

理解PATCH和PUT的区别

假设URL位置有一组数据UserInfo,包括UserID、UserName等20个字段

需求:用户修改了UserName,其他不变。

⿻采用PATCH,仅向URL提交UserName的局部更新请求。

⿻采用PUT,必须将所有20个字段一并提交到URL,未提交字段被删除。

PATCH的最主要好处:节省网络带宽(当URL对应的资源是很庞大资源的时候)

HTTP协议与Requests库

HTTP协议方法 Requests库方法 功能一致性

GET requests. get( ) 一致

HEAD requests . head( ) 一致

POST requests . post( ) 一致

PUT requests . put( ) 一致

PATCH requests . patch( ) 一致

DELETE requests . delete( ) 一致

继续阅读