使用爬虫抓取网上公开的网页数据时，经常需要使用各种技能去解析到手的响应。
本篇文章，重点介绍下，数据提取时，有哪些常见的方法
0. 背景交代
- 编程语言：Python
- 提取方式：Python库
1. Xpath提取HTML内容
网页的数据，几乎都是HTML格式的，当然少不了Xpath的解析了，这是解析HTML的主要方法
安装：
pip install lxml
调用：
from lxml import etree
info = etree.HTML("这里放HTML字符串")
result = info.xpath("这里放xpath规则")
语法介绍：
- . 代表当前节点，通常用于逐块提取数据
- .. 代表父级【上一级】标签
- / 子级内容
- // 子孙级内容
-
[]
div[@class="demo"]
-
and
or
not()
-
normalize-space(这里放xpath规则)
更多教程链接：xpath教程【spbeen】 爬虫之数据解析的三种方式【cnblogs】
2. 正则表达式
如果数据时在js中，xpath是无法解析到js代码中的数据的，则此时，推荐正则表达式，提取出需要的数据
调用：
import re
re是python的内置库
示例：
patternstr = "base64,(.*?)'"
result = re.search(pattern, html)
语法介绍：
元字符匹配内容.匹配除换行符以外的任意字符w匹配字母或数字或下划线s匹配任意的空白符d匹配数字n匹配一个换行符t匹配一个制表符b匹配一个单词的结尾^匹配字符串的开始$匹配字符串的结尾W匹配非字母或数字或下划线D匹配非数字S匹配非空白符a|b匹配字符a或字符b()匹配括号内的表达式，也表示一个组[...]匹配字符组中的字符[^...]匹配除了字符组中字符的所有字符
更多教程连接：python re模块
3. JSON转换
在网页的异步数据中，通常会碰到 Json 格式的字符串，这一点是比较简单的。
调用：
import json
json是python的内置库
示例：
import json
dict_obj = json.loads("这里放json格式的字符串")
# json.loads() 返回的结果是Python的字典，所以操作方便
语法介绍：无【字典操作太简单了，不做介绍】
但是，异步加载虽然是 json 居多，但是jsonp也是有的
何为 jsonp ？这个由来就能聊很久了
简单来说，浏览器有防跨域请求的，这是为了安全着想；但是这一棒子打死了全部的跨域请求，我要是正常请求怎么办？
答：用jsonp就可以
jsonp的数据格式，和json很像，就是在json的基础之上，套上一个函数的壳，例如：
json_str = '{"method":"get"}'
jsonp_str = '''functionName({"method":"get"});'''
jsonp的字符串，就是json的字符串套了个javascript的函数。
原来如此，不难，那怎么解析呢？
答：使用正则，取出函数内json字符串，再用json转换就可以了
示例：
import json, re
pattern_str = "{.*?}"
result = re.search(pattern_str, “jsonp字符串”)
dict_obj = json.loads(result[0])
效果图如下：
以上就是本篇文章的全部介绍内容了
！放在最后
如果文章中有什么错误或者建议修改的地方，欢迎留言纠正和回复
如果你喜欢本篇文章，不妨关注一下我们的公众号，每周更新两篇原创技术文档，都是干货
