正则表达式
- 通用的字符串表达框架
- 简洁表达一组字符串的表达式
- 针对字符串表达“简洁”和“特征”思想的工具
- 判断某字符串的特征归属
正则表达式的常用操作符
操作符 | 说明 | 实例 |
---|---|---|
. | 表示任何单字符 | |
[ ] | 字符集,对单个字符给出取值范围 | [abc]表示a、b、c,[a-z]表示a到z单个字符 |
[^ ] | 非字符集,对单个字符给出排除范围 | [^abc]表示非a或b或c的单个字符 |
* | 前一个字符0次或无限次扩展 | abc*表示ab、abc、abcc、abccc等 |
+ | 前一个字符1次或无限次扩展 | abc+表示abc、abcc、abccc等 |
? | 前一个字符0次或1次扩展 | abc?表示ab、abc |
I | 左右表达式任意一个 | abc I def表示abc、def |
{m} | 扩展前一个字符m次 | ab{2}c表示abbc |
{m,n} | 扩展前一个字符m至n次(含n) | ab{1,2}c表示abc、abbc |
^匹配字符串开头 | ^abc表示abc且在一个字符串的开头 | |
$ | 匹配字符串结尾 | abc$表示abc且在一个字符串的结尾 |
\d | 数字,等价于[0-9] | |
\w | 单词字符,等价于[A-Za-z0-9_] |
Re库的使用
import re
当正则表达式中含有转义字符时,使用原生字符串。
使用Re库时,最好先将字符串编译成正则表达式对象:
regex=re.compile(pattern,flags=0)
再利用regex对象调用Re库的函数。
Re库的主要功能函数
函数 | 说明 |
---|---|
re.search() | 在一个字符串中搜索匹配正则表达式的第一个位置,返回match对象 |
re.match() | 在一个字符串的开始位置起匹配正则表达式,返回match对象 |
re.findall() | 搜索字符串,以列表类型返回全部能匹配到的字符串 |
re.split() | 将一个字符串按照正则表达式匹配结果进行分割,返回列表类型 |
re.finditer() | 搜索字符串,返回一个匹配结果的迭代类型,每个迭代元素是match对象 |
re.sub() | 在一个字符串中替换所有匹配正则表达式的子串,返回替换后的字符串 |
-
re.search(pattern,string,flag=0)
pattern:正则表达式的字符串或原生字符串表示
string:待匹配字符串
flags:正则表达式使用时的控制标记
match = re.search(r'[1-9]\d{5}','BIT 100081')
-
re.match(pattern,string,flag=0)
pattern:正则表达式的字符串或原生字符串表示
string:待匹配字符串
flags:正则表达式使用时的控制标记
match = re.match(r'[1-9]\d{5}','100081 BIT')
-
re.findall(pattern,string,flag=0)
pattern:正则表达式的字符串或原生字符串表示
string:待匹配字符串
flags:正则表达式使用时的控制标记
match = re.findall(r'[1-9]\d{5}','BIT100081 TSU100084')
-
re.findall(pattern,string,maxsplit,flag=0)
pattern:正则表达式的字符串或原生字符串表示
string:待匹配字符串
maxsplit:最大分割数,剩余部分作为最后一个元素输出
flags:正则表达式使用时的控制标记
match = re.split(r'[1-9]\d{5}','BIT100081 TSU100084',maxsplit=1)
-
re.finditer(pattern,string,flag=0)
pattern:正则表达式的字符串或原生字符串表示
string:待匹配字符串
flags:正则表达式使用时的控制标记
for match in re.finditer(r'[1-9]\d{5}','BIT100081 TSU100084'):
if match:
print(match.group(0))
-
re.sub(pattern,string,flag=0)
pattern:正则表达式的字符串或原生字符串表示
repl:替换匹配字符串的字符串
string:待匹配字符串
count:匹配的最大替换次数
flags:正则表达式使用时的控制标记
match = re.sub(r'[1-9]\d{5}',':zipcode','BIT100081 TSU100084')
Match对象的方法
方法 | 说明 |
---|---|
.group(0) | 获得匹配后的字符串 |
.start() | 匹配字符串在原始字符串的开始位置 |
.end() | 匹配字符串在原始字符串的结束位置 |
.span() | 返回(.start(),end()) |
Match对象的属性
属性 | 说明 |
---|---|
.string | 待匹配的文本 |
.re | 匹配时使用的pttern对象(正则表达式) |
.pos | 正则表达式搜索文本的开始位置 |
.endpos | 正则表达式搜索文本的结束位置 |
实例
提取淘宝商品的名称及价格:
由于淘宝网有密码登录的要求,这里用的是淘宝热卖网
https://uland.taobao.com/sem/tbsearch
import requests
import re
import requests
import re
# 定义获取HTML内容的函数
def getHTMLText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
print("获取HTML页面完成")
except:
return ""
# 爬取想要的内容
def fillUnivList(ulist,html):
try:
names = re.findall(r'\<span class=\"title\" title=\".*?\"\>',html)# <span class="title" title="ins大容量双肩包男韩版大学生书包女初中">ins大容量双肩包男韩版大学生书包女初中</span>
prices = re.findall(r'\<strong\>[\d\.]*<\/strong\>',html) # <strong> 59.90 </strong>
print("页面解析完成")
for i in range(len(names)):
name=names[i].split('"')[3] # <span class="title" title="ins大容量双肩包男韩版大学生书包女初中">
price=re.split(">|<",prices[i])[2] # <strong> 59.90 </strong>
ulist.append([name,price])
print("列表成功生成")
except:
print("")
# 输格式化出
def printUnivList(ulist,path):
with open(path,'a',encoding='utf-8') as f:
f.write("商品\t价格\n")
for i in range(len(ulist)):
u = ulist[i]
f.write(u[0]+"\t")
f.write(u[1]+"\n")
f.close()
print("成功存储到文件")
def main():
uinfo=[]
good=input("请输入想要获取的商品名称")
page=int(input("请输入想要检索的页面数"))
path="D://"+good+".txt"
for i in range(page):
url = "https://re.taobao.com/search_ou?keyword=" + good + "&page=" + str(i)
html = getHTMLText(url)
fillUnivList(uinfo, html)
print("共搜索了",len(uinfo),"条结果")
# 显示全部结果
printUnivList(uinfo,path)
if __name__ == "__main__":
main()