awk

awk文法
AWK工作原理
program
- print
- awk變量
- - 内置變量
  - 自定義變量
- printf
- 操作符
- awk pattern
- BEGIN和END
- awk 控制語句
- - if-else
  - while語句
  - do-while循環
  - for循環
  - switch語句
- awk數組
AWK函數
- 數值處理
- 字元串處理
- 自定義函數
AWK調用shell指令
awk腳本
向awk腳本傳遞參數
練習

awk文法

文法格式：

awk [options] 'program' file…

選項：

-f：指明輸入時用到的字段分隔符

-v var=value：自定義變量

對于 program來說，它是處理模式。它的文法格式是：

PATTERN{ACTION STATEMENTS}

可以有多個STATEMENTS，各個STATEMENTS之間用分号分隔。

pattern：決定動作語句合适觸發及觸發事件
action statments：對資料進行處理，需要放在{}内
awk執行時，由分隔符分隔的字段（域）标記$1,$2…$n稱為域辨別。$0為所有域，注意：和shell中變量$符含義不同
檔案的每一行稱為記錄
省略action，則預設執行 print $0 的操作
program最外邊最好使用單引号，如果單引号裡需要用引号的話，使用雙引号以區分

AWK工作原理

awkawk文法AWK工作原理programAWK函數AWK調用shell指令awk腳本向awk腳本傳遞參數練習

program

print

print格式：print item1,item2...

使用逗号來分隔需要列印的字段，如果不使用，不會添加空格
輸出的item可以是字元串，也可以是數值，目前記錄的字段
如果省略item，表示列印$0

示例：

[[email protected] ~]# awk '{print "hello,awk!"}'
111
hello,awk!
222
hello,awk!
# 由于awk是從輸入流或文本檔案中讀取，是以不指明檔案的話，會從鍵盤讀取

[[email protected] ~]# awk -F: '{print $1,$3}' /etc/passwd
root 0
bin 1
daemon 2
adm 3
lp 4
sync 5
shutdown 6
halt 7
mail 8
operator 11
games 12


[[email protected] ~]# awk '{print}' /etc/fstab
/dev/mapper/centos_bogon-root  / xfs defaults   0 0
/dev/sda1 /boot xfs defaults 0 0
/dev/mapper/centos_bogon-data /data xfs defaults 0 0
/dev/mapper/centos_bogon-swap swap swap defaults 0 0
/dev/mapper/centos_bogon-home /home xfs defaults 0 0
/dev/mapper/centos_bogon-var /var xfs defaults 0 0
# 省略item，預設全部列印

awk變量

内置變量

1）FS：輸入字段分隔符，預設為空白字元

示例：

[[email protected] ~]# awk -v FS=":" '{print $1,$3}' /etc/passwd
root 0
bin 1
daemon 2
#其實同-F作用一樣
[[email protected] ~]# awk -F: '{print $1,$3}' /etc/passwd
root 0
bin 1

2）OFS：輸出字段分割符，預設為空白字元

示例：

[[email protected] ~]# awk -v FS=":" -v OFS=":" '{print $1,$3}' /etc/passwd
root:0
bin:1
daemon:2

3）RS：輸入時的換行符

示例：

[[email protected] ~]# awk -v RS=" " {print} /etc/passwd
ftp:x:14:50:FTP
User:/var/ftp:/sbin/nologin

原ftp行
[[email protected] ~]# cat /etc/passwd
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

# 當行裡有空格的話，會以空格當作換行符，把後面的當成下一行

3）ORS：輸出時指定的換行符

示例：

[[email protected] ~]# awk -v RS=' ' -v ORS='###' {print} /etc/passwd
ftp:x:14:50:FTP###User:/var/ftp:/sbin/nologin
# 原本是遇到空格進行換行，修改成###代替換行符

4）NF：字段數量

示例：

[[email protected] ~]# awk -F: '{print NF}' /etc/passwd
7
7
7
# 用：分隔符，每行的字段數量為7

統計CD光牒裡安裝軟體包的架構
[[email protected] ~]# ls /mnt/cdrom/Packages/ | awk -F. '{print $(NF-1)}'  | sort | uniq -c
   2281 i686
   3155 noarch
      1 TRANS
   4661 x86_64

5）NR：記錄号

示例：

[[email protected] ~]# awk -F: '{print NR,$1}' /etc/passwd
1 root
2 bin
3 daemon
4 adm

6）FNR：各檔案統計數，記錄号

示例：

[[email protected] ~]# awk '{print FNR}' /etc/passwd /etc/fstab 
1
2
...
46
1
2
...

7)：FILENAME：目前檔案名

示例：

[[email protected] ~]# awk '{print FILENAME}' /etc/fstab
/etc/fstab
/etc/fstab

自定義變量

兩種方式：

-v var=value
在program中直接定義

示例：

awk -F: -v name='name:' '{print name,$1}' /etc/passwd
name: root
name: bin
name: daemon
name: adm
name: lp

[[email protected] ~]# awk -F: '{name="name:";print name,$1}' /etc/passwd
name: root
name: bin
name: daemon


[[email protected] ~]# cat awkscript 
{print name,$1}
#檔案裡不需要寫單引号，寫了會報錯。
[[email protected] ~]# awk -F: -f awkscript name="name:" /etc/passwd
name: root
name: bin
name: daemon
# 從檔案中讀取

printf

printf "FORMAT" item1，item2

：格式化輸出，以何種方式顯示出來

要求：

必須制定FORMAT
不會自動換行，需要顯式給出換行控制符"\n"
FORMAT中需要分别為後面每個item指定格式符

格式符：

%c ：顯示字元的ASCII碼
%d ， %i ：顯示十進制數字
%e ， %E ：顯示科學計數法數值
%f ：顯示為浮點數
%g ， %G ：以科學計數法或浮點形式顯示數值
%s ：顯示字元串
%u ：無符号整數
%% ：顯示%自身

一個item以一個%為準

修飾符：

#[,#] ：第一個顯示的寬度，第二個#表示小數後的精度
- ：表示左對齊
+
：顯示數值的正負号

示例：

[[email protected] ~] awk 'BEGIN{printf "%2.2f\n","2.1"}'
2.10

[[email protected] ~] awk -F: '{printf "%-20s %10d\n",$1,$3}' /etc/passwd 
root                          0
bin                           1
daemon                        2
#預設是右對齊，-是左對齊。左對齊就是從第一個字元往右數N個寬度


[[email protected] ~] awk -F: '{printf "Username:%-20s  UID:%d\n",$1,$3 }' /etc/passwd
Username:root                  UID:0
Username:bin                   UID:1
Username:daemon                UID:2

操作符

算術操作符

x+y , x-y , x*y , x/y , x%y , x^y

-x

：轉換為負數

+x

：轉換為數值

示例：

[[email protected] ~] awk 'BEGIN{printf "%2.3f\n",3/2}'
1.500

[[email protected] ~] awk 'BEGIN{print -3+2}'
-1

字元串操作符

沒有符号的操作符，字元串連接配接

示例：

[[email protected] ~] awk 'BEGIN{print "aaa""bbb"}'
aaabbb

指派操作符

= , += , -= , *= , /= , %= , ^= , ++ , --

示例：

[[email protected] ~] awk 'BEGIN{a=2;print a+=2}'
4
#和shell腳本中的沒有差別

[[email protected] ~] awk 'BEGIN{i=0;print ++i}'
1
# ++i，先執行+1，在進行列印 

[[email protected] ~] awk 'BEGIN{i=0;print i++}'
0
# 先執行i的數值，在進行列印

操作符

比較符： == , != , > , < , >= , <=
模式比對符
- ~ ：左邊是否和右邊比對包含
- !~ ：是否不比對

示例：

[[email protected] ~] awk '$0 ~ /root/ ' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
#$0全行，列印出包含root的行，省略action表示列印$0。

[[email protected] ~] awk -F: '$0 ~ /^root/ {print $1}' /etc/passwd
root
# 首部是root的列印出來第一個字段


[[email protected] ~] awk -F: '$3 >=1000 {printf "%-11s:%6d\n",$1,$3}' /etc/passwd
nfsnobody  : 65534
ydong      :  1000
test1      :  1001
user       :  1002

邏輯符

&& , || , !

示例：

[[email protected] ~] awk -F: '$3>1000 && $3<2000 {print $1,$3}' /etc/passwd
test1 1001
user 1002

三目表達式

selector ? if-true-expression:if-false-expression

判斷語句?為真時執行：為假時執行

示例：

[[email protected] ~] awk -F: '{$3>=1000?user="common user":user="system user"; printf "%20s : %10s\n" ,$1,user}' /etc/passwd
                root : system user
                 bin : system user
              daemon : system user

awk pattern

PATTERN

：根據pattern條件，過濾比對的行，再做處理

空模式 ：如果未指定模式，将比對每一行
/regular expression/ ：僅處理能夠比對到的行，需要用//括起來
relational expression ：關系表達式，結果為真才會處理
- 真：結果為非0值，非空字元串
- 假：結果為0值或空字元串

示例：

[[email protected] ~] awk 'i=1;j=1{print i,j}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
1 1
bin:x:1:1:bin:/bin:/sbin/nologin
1 1
# i和j時判斷語句，根據結果是i=1時真，進行列印$0，j=1為真，列印i和j

[[email protected] ~] seq 1 10| awk 'i=!i'
1
3
5
7
9
# 列印基數行
[[email protected] ~] seq 1 10| awk -v i=1 'i=!i'
2
4
6
8
10
# 列印偶數行

行範圍

start line , end line

：

/pat1/, /pat2/

,不支援給出數字

示例：

[[email protected] ~] awk -F: '/^root\>/,/^nobody\>/{print $1}' /etc/passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
#顯示root到nobody之間的行

[[email protected] ~] awk -F: 'NR>10 && NR<20{print NR,$1}' /etc/passwd
11 games
12 ftp
13 nobody
14 systemd-network
15 dbus
16 polkitd
17 sssd
18 libstoragemgmt
19 colord

BEGIN和END

BEGIN

：在處理檔案之間執行一次

END

：檔案在完全處理完成之後執行一次

awk 控制語句

if-else

文法：

if(condition){statement;…}[else statement]
if(condition1){statement1}else if(condition2){statement2} else{statement3}

示例：

[[email protected] ~] awk -F: '{if($3%2!=1){printf "%-20s %10d\n",$1,$3}}' /etc/passwd
root                          0
daemon                        2
lp                            4
shutdown                      6


[[email protected] ~] df -h | awk -F% '/\/dev\/sd/ || /\/dev\/mapper/{print $1}' | awk 'BEGIN{printf"%-30s %-20s\n","DEVICE","USED"}{if($5>=10){printf "%-30s %-20s\n",$1,$5}}'
DEVICE                         USED                
/dev/mapper/centos_bogon-root  20                  
/dev/sda1                      37

while語句

文法：

while(condition){statement;…}

條件為真，進入循環、條件為假，退出循環

使用場景：

對一行内的多個字段逐一類似處理時使用
對數組中的各元素逐一處理時使用

示例：

[[email protected] ~]  awk '/[[:space:]]*linux16/{i=1;while(i<=NF){print $i,length($i);i++}}' /etc/grub2.cfg 
linux16 7
/vmlinuz-3.10.0-1062.el7.x86_64 31
root=/dev/mapper/centos_bogon-root 34
ro 2
rd.lvm.lv=centos_bogon/root 27
rd.lvm.lv=centos_bogon/swap 27


[[email protected] ~]# awk 'BEGIN{total=0;i=1;while(i<=100){total+=i;i++}{print total}}'
5050
1..100的和

do-while循環

文法：

do {statement;…}while(condition)

無論真假都先執行一次，在進入循環

[[email protected] ~]# awk 'BEGIN{total=0;i=0;do{total+=i;i++}while(i<=100){print total}}'
5050
1..100相加的和

for循環

文法：

for(expr1;expr2;expr3) {statement;…}

常見用法：

for(variable assignment;condition;iteration process) {for-body}

特殊用法：可以周遊數組中的元素

文法：

for(var in array) {for-body}

示例：

[[email protected] ~]# awk 'BEGIN{total=0;for(i=1;i<=100;i++){total+=i}{print total}}'
5050

1..100的和

switch語句

文法：

switch(expression) {case VALUE1 or /REGEXP/:statement1; case VALUE2 or /REGEXP2/: statement2;...; default: statementn}

示例：

[[email protected] ~]#  awk -F: '{switch(NR){case /[0-9]/: if(NR%2==0){print NR};default:}}' /etc/passwd 
2
4
6
8

awk數組

awk程式内的數組都是關聯數組，

array[index-expression]

index-expression

可使用任意字元串，字元串需要用雙引号括起來
如果某數組元素事先不存在，在引用時，awk會自動建立此元素，并将其值初始化為“空串”

示例：

[[email protected] ~]# awk 'BEGIN{lol["ad"]="lwx";lol["ap"]="kapai";{print lol["ap"]}}'
kapai

周遊數組的每個元素，使用for循環

for(var in array) {for-body}

示例：

[[email protected] ~]# awk 'BEGIN{lol["ad"]="lwx";lol["ap"]="kapai";{for(i in lol){print lol[i]}}}'
kapai
lwx

[[email protected] ~]# awk '{count[$1]++}END{for (i in count){print i,count[i]}}' /var/log/httpd/access_log
192.168.1.151 101
::1 2
192.168.1.145 10

# 遠端通路http的主機有多少個


統計/etc/fstab檔案中每個單詞出現的次數

[[email protected] ~]# awk '{for(i=1;i<=NF;i++){count[$i]++}}END{for(j in count){print j,count[j]}}' /mnt/back/fstab.bak

# 第一個for循環将所有單詞周遊出來，給到count數組中，最後一次在周遊數組中的元素。

AWK函數

數值處理

rand()

：傳回0到1之間的數字

示例：

[[email protected] ~]# awk 'BEGIN{srand();printf "%.3f\n",rand()}'
0.183
# 由于rand()傳回一個值之後，這個值會固定，若想要值不固定，需要使用srand()函數

字元串處理

length([s])

：傳回指定字元串的長度

示例：

[[email protected] ~]# awk 'BEGIN{print length("aaa")}'
3

sub(r,s,[t])

：對t字元串進行搜尋，r表示的模式比對的内容，并将第一個比對到的内容替換為s

示例：

[[email protected] ~]# awk -F: 'sub(/root/,"test")' /etc/passwd
test:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/test:/sbin/nologin

gsub(r,s,[t])

：對t字元串進行搜尋，r表示的模式比對的内容，并全部替換成s所表示的内容

示例：

[[email protected] ~]# awk  -F: 'gsub(/root/,"test")' /etc/passwd
test:x:0:0:test:/test:/bin/bash
operator:x:11:0:operator:/test:/sbin/nologin

split(s,array,[r]):

以r為分隔符，切割字元串s，并将切割後的結果儲存至array所表示的數組中，第一個索引值為1，第二個索引值為2，以此類推

[[email protected] ~]# awk 'BEGIN{split("a b c d",word," ");for (i in word){print i,word[i]}}'
4 d
1 a
2 b
3 c

自定義函數

格式：

function name ( parameter, parameter, ... ) {
statements
return expression
}

示例：

[[email protected] ~]# awk 'function max(v1,v2){v1>v2?var=v1:var=v2;return var};BEGIN{a=3;b=2;print max(a,b)}'
3

AWK調用shell指令

system指令
空格是awk中的字元串連接配接符，如果system中需要使用awk中的變量可以使用空格分隔，或者說除了awk的變量外其他一律用""引用起來。

示例：

[[email protected] ~]# awk 'BEGIN{system("hostname")}'
localhost

[[email protected] ~]# awk -v score=100 'BEGIN{system("echo your score is " score)}'
your score is 100

awk腳本

将awk程式寫成腳本，直接調用或執行

示例：

[[email protected] ~]# cat test.awk 
{print $1,$3}

[[email protected] ~]# awk -F: -f test.awk /etc/passwd
root 0
bin 1
daemon 2

向awk腳本傳遞參數

格式：

awkfile var=value var2=value2... Inputfile

注意：在BEGIN過程中不可用。直到首行輸入完成以後，變量才可用。可以通過-v 參數，讓awk在執行BEGIN之前得到變量的值。指令行中每一個指定的變量都需要一個-v參數

示例：

[[email protected] ~]# cat test.awk 
{if($3>min && $3<max){print $1,$3}}

[[email protected] ~]# awk -v min=1000 -v max=2000 -F: -f test.awk /etc/passwd
test1 1001
user 1002

練習

提取出字元串[email protected]%9&Bdh7dq+YVixp3vpw中的所有數字

[[email protected] ~]# echo '[email protected]%9&Bdh7dq+YVixp3vpw' | awk '{gsub(/[[:alpha:]]/,"",$0);{print $0};gsub(/[[:punct:]]/,"",$0);print $0;}'
[email protected]%9&7+3
05973