大数据之Hive:正则表达式

目录

• 背景
• 一、正则的通配符简介
• • 1、正则表达式的符号及意义
  • 2、字符簇：
  • 3、各种操作符的运算优先级：
• 二、regexp函数
• 三、regexp_extract函数
• 四、regexp_replace函数

背景

最近在工作中，遇到一些匹配，需要使用正则表达式，发现自己在这一块知识有所欠缺，故总结一下；

一、正则的通配符简介

1、正则表达式的符号及意义

符号	含义	实列
/	做为转意，即通常在"/"后面的字符不按原来意义解释	如" * “匹配它前面元字符0次或多次，/a*/将匹配a,aa,aaa，加了”/"后，/a将匹配b,ba,baa,baaa
+	匹配前面元字符1次或多次	/ba+/将匹配ba,baa,baaa
?	匹配前面元字符0次或1次	/ba?/将匹配b,ba
(x)	匹配x保存x在名为$1…$9的变量中
x竖y	匹配x或y
{n}	精确匹配n次
{n,}	匹配n次以上
{n,m}	匹配n-m次
[xyz]	字符集(character set)，匹配这个集合中的任一一个字符(或元字符)
[^xyz]	不匹配这个集合中的任何一个字符
/d	匹配一个字数字符	//d/ = /[0-9]/
/D	匹配一个非字数字符	//D/ = /[^0-9]/
/s	匹配一个空白字符，包括/n,/r,/f,/t,/v等
/S	匹配一个非空白字符，等于/[^/n/f/r/t/v]/
/w	匹配一个可以组成单词的字符(alphanumeric，这是我的意译，含数字)，包括下划线，如[/w]匹配"$5.98"中的5，等于[a-zA-Z0-9]
/W	匹配一个不可以组成单词的字符，如[/W]匹配"$5.98"中的 $，等于[^a-zA-Z0-9]

备注：

‘( )’ 标记一个子表达式的开始和结束位置。

‘[]’ 标记一个中括号表达式。

/num 匹配 num，其中 num 是一个正整数。对所获取的匹配的引用。

2、字符簇：

[[:alpha:]] 任何字母。

[[:digit:]] 任何数字。

[[:alnum:]] 任何字母和数字。

[[:space:]] 任何白字符。

[[:upper:]] 任何大写字母。

[[:lower:]] 任何小写字母。

[[:punct:]] 任何标点符号。

[[:xdigit:]] 任何16进制的数字，相当于[0-9a-fA-F]

3、各种操作符的运算优先级：

转义符>圆括号和方括号>限定符>位置和顺序

具体如下：

/ 转义符

(), ( ?: ), (?=), [] 圆括号和方括号

*, +, ?, {n}, {n,}, {n,m} 限定符

^, $, anymetacharacter 位置和顺序

正则表达式的符号及意义

二、regexp函数

语法: A REGEXP B

操作类型: strings

描述: 功能与RLIKE相同

hive> select id,name,birthday,tea_list from stu_info where birthday regexp '\\d{8}';
id	name	birthday	tea_list
01	zhangsan	20000308	东邪|西毒|南帝|北丐
02	lisi	20040418	东邪|西毒|南帝
03	wangwu	20011008	西毒|南帝
hive> select id,name,birthday,tea_list from stu_info where tea_list regexp '东邪|北丐';
id	name	birthday	tea_list
01	zhangsan	20000308	东邪|西毒|南帝|北丐
02	lisi	20040418	东邪|西毒|南帝
hive> select id,name,birthday,tea_list from stu_info where birthday not rlike '\\d{8}';
id	name	birthday	tea_list
05	tianqi	1994-10-01	西毒|南帝
           

补充：like （模糊匹配）与rlike的 区别

示例：

hive>select id,name,birthday,tea_list from stu_info where tea_list like '%东邪%';
id	name	birthday	tea_list
01	zhangsan	20000308	东邪|西毒|南帝|北丐
02	lisi	20040418	东邪|西毒|南帝
hive> select id,name,birthday,tea_list from stu_info where birthday not rlike '\\d{8}';
id	name	birthday	tea_list
05	tianqi	1994-10-01	西毒|南帝
           

首先需要明确的是like的内容不是正则，而是通配符。

而rlike的内容可以是正则，正则的写法与java一样。需要转义，例如’\m’需要使用’\m’

1，%：表示任意0个或多个字符。可匹配任意类型和长度的字符，有些情况下若是中文，请使用两个百分号（%%）表示

2，_： 表示任意单个字符。匹配单个任意字符，它常用来限制表达式的字符长度语句；

SELECT name FROM stu_info WHERE name LIKE '_三_';
SELECT name FROM stu_info WHERE name LIKE '三_';
           

3，[ ]：表示括号内所列字符中的一个（类似正则表达式）。指定一个字符、字符串或范围，要求所匹配对象为它们中的任一个。

4，[ ^ ] ：表示不在括号所列之内的单个字符。其取值和 [] 相同，但它要求所匹配对象为指定字符以外的任一个字符。

三、regexp_extract函数

语法: regexp_extract(string subject, string pattern, int index)

返回值: string

说明：将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符

idx是返回结果 取表达式的哪一部分 默认值为1。

0表示把整个正则表达式对应的结果全部返回

1表示返回正则表达式中第一个() 对应的结果 以此类推。

hive> select regexp_extract('IloveYou','I(.*?)(You)',1) from test1 limit 1;
love
hive> select regexp_extract('IloveYou','I(.*?)(You)',2) from test1 limit 1;
You
hive> select regexp_extract('IloveYou','(I)(.*?)(You)',1) from test1 limit 1;
I
hive> select regexp_extract('IloveYou','(I)(.*?)(You)',0) from test1 limit 1;
IloveYou
hive>select  regexp_extract(create_time,'[0-9]{3}[1-9]-(0[1-9]|1[012])-[0-9]{2}',0) from time_table_1;
2021-08-14
2021-08-15
2021-08-16
           

四、regexp_replace函数

语法: regexp_replace(string A, string B, string C)

返回值: string

说明：将字符串A中的符合java正则表达式B的部分替换为C。注意，在有些情况下要使用转义字符,类似oracle中的regexp_replace函数。

hive> select regexp_replace("IloveYou","You","") from test1 limit 1;
Ilove
hive> select regexp_replace("IloveYou","You","lili") from test1 limit 1;
Ilovelili
hive>select date_format (regexp_replace('2017/05/21','/','-'),'yyyy-MM-dd') data_dt;
2017-05-21
           

参考：https://blog.csdn.net/bitcarmanlee/article/details/51106726