awk

awk语法
AWK工作原理
program
- print
- awk变量
- - 内置变量
  - 自定义变量
- printf
- 操作符
- awk pattern
- BEGIN和END
- awk 控制语句
- - if-else
  - while语句
  - do-while循环
  - for循环
  - switch语句
- awk数组
AWK函数
- 数值处理
- 字符串处理
- 自定义函数
AWK调用shell命令
awk脚本
向awk脚本传递参数
练习

awk语法

语法格式：

awk [options] 'program' file…

选项：

-f：指明输入时用到的字段分隔符

-v var=value：自定义变量

对于 program来说，它是处理模式。它的语法格式是：

PATTERN{ACTION STATEMENTS}

可以有多个STATEMENTS，各个STATEMENTS之间用分号分隔。

pattern：决定动作语句合适触发及触发事件
action statments：对数据进行处理，需要放在{}内
awk执行时，由分隔符分隔的字段（域）标记$1,$2…$n称为域标识。$0为所有域，注意：和shell中变量$符含义不同
文件的每一行称为记录
省略action，则默认执行 print $0 的操作
program最外边最好使用单引号，如果单引号里需要用引号的话，使用双引号以区分

AWK工作原理

awkawk语法AWK工作原理programAWK函数AWK调用shell命令awk脚本向awk脚本传递参数练习

program

print

print格式：print item1,item2...

使用逗号来分隔需要打印的字段，如果不使用，不会添加空格
输出的item可以是字符串，也可以是数值，当前记录的字段
如果省略item，表示打印$0

示例：

[[email protected] ~]# awk '{print "hello,awk!"}'
111
hello,awk!
222
hello,awk!
# 由于awk是从输入流或文本文件中读取，所以不指明文件的话，会从键盘读取

[[email protected] ~]# awk -F: '{print $1,$3}' /etc/passwd
root 0
bin 1
daemon 2
adm 3
lp 4
sync 5
shutdown 6
halt 7
mail 8
operator 11
games 12


[[email protected] ~]# awk '{print}' /etc/fstab
/dev/mapper/centos_bogon-root  / xfs defaults   0 0
/dev/sda1 /boot xfs defaults 0 0
/dev/mapper/centos_bogon-data /data xfs defaults 0 0
/dev/mapper/centos_bogon-swap swap swap defaults 0 0
/dev/mapper/centos_bogon-home /home xfs defaults 0 0
/dev/mapper/centos_bogon-var /var xfs defaults 0 0
# 省略item，默认全部打印

awk变量

内置变量

1）FS：输入字段分隔符，默认为空白字符

示例：

[[email protected] ~]# awk -v FS=":" '{print $1,$3}' /etc/passwd
root 0
bin 1
daemon 2
#其实同-F作用一样
[[email protected] ~]# awk -F: '{print $1,$3}' /etc/passwd
root 0
bin 1

2）OFS：输出字段分割符，默认为空白字符

示例：

[[email protected] ~]# awk -v FS=":" -v OFS=":" '{print $1,$3}' /etc/passwd
root:0
bin:1
daemon:2

3）RS：输入时的换行符

示例：

[[email protected] ~]# awk -v RS=" " {print} /etc/passwd
ftp:x:14:50:FTP
User:/var/ftp:/sbin/nologin

原ftp行
[[email protected] ~]# cat /etc/passwd
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

# 当行里有空格的话，会以空格当作换行符，把后面的当成下一行

3）ORS：输出时指定的换行符

示例：

[[email protected] ~]# awk -v RS=' ' -v ORS='###' {print} /etc/passwd
ftp:x:14:50:FTP###User:/var/ftp:/sbin/nologin
# 原本是遇到空格进行换行，修改成###代替换行符

4）NF：字段数量

示例：

[[email protected] ~]# awk -F: '{print NF}' /etc/passwd
7
7
7
# 用：分隔符，每行的字段数量为7

统计光盘里安装软件包的架构
[[email protected] ~]# ls /mnt/cdrom/Packages/ | awk -F. '{print $(NF-1)}'  | sort | uniq -c
   2281 i686
   3155 noarch
      1 TRANS
   4661 x86_64

5）NR：记录号

示例：

[[email protected] ~]# awk -F: '{print NR,$1}' /etc/passwd
1 root
2 bin
3 daemon
4 adm

6）FNR：各文件统计数，记录号

示例：

[[email protected] ~]# awk '{print FNR}' /etc/passwd /etc/fstab 
1
2
...
46
1
2
...

7)：FILENAME：当前文件名

示例：

[[email protected] ~]# awk '{print FILENAME}' /etc/fstab
/etc/fstab
/etc/fstab

自定义变量

两种方式：

-v var=value
在program中直接定义

示例：

awk -F: -v name='name:' '{print name,$1}' /etc/passwd
name: root
name: bin
name: daemon
name: adm
name: lp

[[email protected] ~]# awk -F: '{name="name:";print name,$1}' /etc/passwd
name: root
name: bin
name: daemon


[[email protected] ~]# cat awkscript 
{print name,$1}
#文件里不需要写单引号，写了会报错。
[[email protected] ~]# awk -F: -f awkscript name="name:" /etc/passwd
name: root
name: bin
name: daemon
# 从文件中读取

printf

printf "FORMAT" item1，item2

：格式化输出，以何种方式显示出来

要求：

必须制定FORMAT
不会自动换行，需要显式给出换行控制符"\n"
FORMAT中需要分别为后面每个item指定格式符

格式符：

%c ：显示字符的ASCII码
%d ， %i ：显示十进制数字
%e ， %E ：显示科学计数法数值
%f ：显示为浮点数
%g ， %G ：以科学计数法或浮点形式显示数值
%s ：显示字符串
%u ：无符号整数
%% ：显示%自身

一个item以一个%为准

修饰符：

#[,#] ：第一个显示的宽度，第二个#表示小数后的精度
- ：表示左对齐
+
：显示数值的正负号

示例：

[[email protected] ~] awk 'BEGIN{printf "%2.2f\n","2.1"}'
2.10

[[email protected] ~] awk -F: '{printf "%-20s %10d\n",$1,$3}' /etc/passwd 
root                          0
bin                           1
daemon                        2
#默认是右对齐，-是左对齐。左对齐就是从第一个字符往右数N个宽度


[[email protected] ~] awk -F: '{printf "Username:%-20s  UID:%d\n",$1,$3 }' /etc/passwd
Username:root                  UID:0
Username:bin                   UID:1
Username:daemon                UID:2

操作符

算术操作符

x+y , x-y , x*y , x/y , x%y , x^y

-x

：转换为负数

+x

：转换为数值

示例：

[[email protected] ~] awk 'BEGIN{printf "%2.3f\n",3/2}'
1.500

[[email protected] ~] awk 'BEGIN{print -3+2}'
-1

字符串操作符

没有符号的操作符，字符串连接

示例：

[[email protected] ~] awk 'BEGIN{print "aaa""bbb"}'
aaabbb

赋值操作符

= , += , -= , *= , /= , %= , ^= , ++ , --

示例：

[[email protected] ~] awk 'BEGIN{a=2;print a+=2}'
4
#和shell脚本中的没有区别

[[email protected] ~] awk 'BEGIN{i=0;print ++i}'
1
# ++i，先执行+1，在进行打印 

[[email protected] ~] awk 'BEGIN{i=0;print i++}'
0
# 先执行i的数值，在进行打印

操作符

比较符： == , != , > , < , >= , <=
模式匹配符
- ~ ：左边是否和右边匹配包含
- !~ ：是否不匹配

示例：

[[email protected] ~] awk '$0 ~ /root/ ' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
#$0全行，打印出包含root的行，省略action表示打印$0。

[[email protected] ~] awk -F: '$0 ~ /^root/ {print $1}' /etc/passwd
root
# 首部是root的打印出来第一个字段


[[email protected] ~] awk -F: '$3 >=1000 {printf "%-11s:%6d\n",$1,$3}' /etc/passwd
nfsnobody  : 65534
ydong      :  1000
test1      :  1001
user       :  1002

逻辑符

&& , || , !

示例：

[[email protected] ~] awk -F: '$3>1000 && $3<2000 {print $1,$3}' /etc/passwd
test1 1001
user 1002

三目表达式

selector ? if-true-expression:if-false-expression

判断语句?为真时执行：为假时执行

示例：

[[email protected] ~] awk -F: '{$3>=1000?user="common user":user="system user"; printf "%20s : %10s\n" ,$1,user}' /etc/passwd
                root : system user
                 bin : system user
              daemon : system user

awk pattern

PATTERN

：根据pattern条件，过滤匹配的行，再做处理

空模式 ：如果未指定模式，将匹配每一行
/regular expression/ ：仅处理能够匹配到的行，需要用//括起来
relational expression ：关系表达式，结果为真才会处理
- 真：结果为非0值，非空字符串
- 假：结果为0值或空字符串

示例：

[[email protected] ~] awk 'i=1;j=1{print i,j}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
1 1
bin:x:1:1:bin:/bin:/sbin/nologin
1 1
# i和j时判断语句，根据结果是i=1时真，进行打印$0，j=1为真，打印i和j

[[email protected] ~] seq 1 10| awk 'i=!i'
1
3
5
7
9
# 打印基数行
[[email protected] ~] seq 1 10| awk -v i=1 'i=!i'
2
4
6
8
10
# 打印偶数行

行范围

start line , end line

：

/pat1/, /pat2/

,不支持给出数字

示例：

[[email protected] ~] awk -F: '/^root\>/,/^nobody\>/{print $1}' /etc/passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
#显示root到nobody之间的行

[[email protected] ~] awk -F: 'NR>10 && NR<20{print NR,$1}' /etc/passwd
11 games
12 ftp
13 nobody
14 systemd-network
15 dbus
16 polkitd
17 sssd
18 libstoragemgmt
19 colord

BEGIN和END

BEGIN

：在处理文件之间执行一次

END

：文件在完全处理完成之后执行一次

awk 控制语句

if-else

语法：

if(condition){statement;…}[else statement]
if(condition1){statement1}else if(condition2){statement2} else{statement3}

示例：

[[email protected] ~] awk -F: '{if($3%2!=1){printf "%-20s %10d\n",$1,$3}}' /etc/passwd
root                          0
daemon                        2
lp                            4
shutdown                      6


[[email protected] ~] df -h | awk -F% '/\/dev\/sd/ || /\/dev\/mapper/{print $1}' | awk 'BEGIN{printf"%-30s %-20s\n","DEVICE","USED"}{if($5>=10){printf "%-30s %-20s\n",$1,$5}}'
DEVICE                         USED                
/dev/mapper/centos_bogon-root  20                  
/dev/sda1                      37

while语句

语法：

while(condition){statement;…}

条件为真，进入循环、条件为假，退出循环

使用场景：

对一行内的多个字段逐一类似处理时使用
对数组中的各元素逐一处理时使用

示例：

[[email protected] ~]  awk '/[[:space:]]*linux16/{i=1;while(i<=NF){print $i,length($i);i++}}' /etc/grub2.cfg 
linux16 7
/vmlinuz-3.10.0-1062.el7.x86_64 31
root=/dev/mapper/centos_bogon-root 34
ro 2
rd.lvm.lv=centos_bogon/root 27
rd.lvm.lv=centos_bogon/swap 27


[[email protected] ~]# awk 'BEGIN{total=0;i=1;while(i<=100){total+=i;i++}{print total}}'
5050
1..100的和

do-while循环

语法：

do {statement;…}while(condition)

无论真假都先执行一次，在进入循环

[[email protected] ~]# awk 'BEGIN{total=0;i=0;do{total+=i;i++}while(i<=100){print total}}'
5050
1..100相加的和

for循环

语法：

for(expr1;expr2;expr3) {statement;…}

常见用法：

for(variable assignment;condition;iteration process) {for-body}

特殊用法：可以遍历数组中的元素

语法：

for(var in array) {for-body}

示例：

[[email protected] ~]# awk 'BEGIN{total=0;for(i=1;i<=100;i++){total+=i}{print total}}'
5050

1..100的和

switch语句

语法：

switch(expression) {case VALUE1 or /REGEXP/:statement1; case VALUE2 or /REGEXP2/: statement2;...; default: statementn}

示例：

[[email protected] ~]#  awk -F: '{switch(NR){case /[0-9]/: if(NR%2==0){print NR};default:}}' /etc/passwd 
2
4
6
8

awk数组

awk程序内的数组都是关联数组，

array[index-expression]

index-expression

可使用任意字符串，字符串需要用双引号括起来
如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”

示例：

[[email protected] ~]# awk 'BEGIN{lol["ad"]="lwx";lol["ap"]="kapai";{print lol["ap"]}}'
kapai

遍历数组的每个元素，使用for循环

for(var in array) {for-body}

示例：

[[email protected] ~]# awk 'BEGIN{lol["ad"]="lwx";lol["ap"]="kapai";{for(i in lol){print lol[i]}}}'
kapai
lwx

[[email protected] ~]# awk '{count[$1]++}END{for (i in count){print i,count[i]}}' /var/log/httpd/access_log
192.168.1.151 101
::1 2
192.168.1.145 10

# 远程访问http的主机有多少个


统计/etc/fstab文件中每个单词出现的次数

[[email protected] ~]# awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(j in count){print j,count[j]}}' /mnt/back/fstab.bak

# 第一个for循环将所有单词遍历出来，给到count数组中，最后一次在遍历数组中的元素。

AWK函数

数值处理

rand()

：返回0到1之间的数字

示例：

[[email protected] ~]# awk 'BEGIN{srand();printf "%.3f\n",rand()}'
0.183
# 由于rand()返回一个值之后，这个值会固定，若想要值不固定，需要使用srand()函数

字符串处理

length([s])

：返回指定字符串的长度

示例：

[[email protected] ~]# awk 'BEGIN{print length("aaa")}'
3

sub(r,s,[t])

：对t字符串进行搜索，r表示的模式匹配的内容，并将第一个匹配到的内容替换为s

示例：

[[email protected] ~]# awk -F: 'sub(/root/,"test")' /etc/passwd
test:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/test:/sbin/nologin

gsub(r,s,[t])

：对t字符串进行搜索，r表示的模式匹配的内容，并全部替换成s所表示的内容

示例：

[[email protected] ~]# awk  -F: 'gsub(/root/,"test")' /etc/passwd
test:x:0:0:test:/test:/bin/bash
operator:x:11:0:operator:/test:/sbin/nologin

split(s,array,[r]):

以r为分隔符，切割字符串s，并将切割后的结果保存至array所表示的数组中，第一个索引值为1，第二个索引值为2，以此类推

[[email protected] ~]# awk 'BEGIN{split("a b c d",word," ");for (i in word){print i,word[i]}}'
4 d
1 a
2 b
3 c

自定义函数

格式：

function name ( parameter, parameter, ... ) {
statements
return expression
}

示例：

[[email protected] ~]# awk 'function max(v1,v2){v1>v2?var=v1:var=v2;return var};BEGIN{a=3;b=2;print max(a,b)}'
3

AWK调用shell命令

system命令
空格是awk中的字符串连接符，如果system中需要使用awk中的变量可以使用空格分隔，或者说除了awk的变量外其他一律用""引用起来。

示例：

[[email protected] ~]# awk 'BEGIN{system("hostname")}'
localhost

[[email protected] ~]# awk -v score=100 'BEGIN{system("echo your score is " score)}'
your score is 100

awk脚本

将awk程序写成脚本，直接调用或执行

示例：

[[email protected] ~]# cat test.awk 
{print $1,$3}

[[email protected] ~]# awk -F: -f test.awk /etc/passwd
root 0
bin 1
daemon 2

向awk脚本传递参数

格式：

awkfile var=value var2=value2... Inputfile

注意：在BEGIN过程中不可用。直到首行输入完成以后，变量才可用。可以通过-v 参数，让awk在执行BEGIN之前得到变量的值。命令行中每一个指定的变量都需要一个-v参数

示例：

[[email protected] ~]# cat test.awk 
{if($3>min && $3<max){print $1,$3}}

[[email protected] ~]# awk -v min=1000 -v max=2000 -F: -f test.awk /etc/passwd
test1 1001
user 1002

练习

提取出字符串[email protected]%9&Bdh7dq+YVixp3vpw中的所有数字

[[email protected] ~]# echo '[email protected]%9&Bdh7dq+YVixp3vpw' | awk '{gsub(/[[:alpha:]]/,"",$0);{print $0};gsub(/[[:punct:]]/,"",$0);print $0;}'
[email protected]%9&7+3
05973