linux shell之awk（1）

1 awk

awk 是一款设计用于数据流的工具， awk有很多内建的功能,比如数组、函数等,这是它和C语言的相同之处

awk 脚本的结构基本如下所示:

awk ' BEGIN{print "start" } pattern { commands } END{ print "end" } file

awk 脚本通常由3部分组成。 BEGIN , END 和带模式匹配选项的常见语句块。这3个部分都是可选项,在脚本中可省略任意部分。

2 命令执行过程

awk 命令的工作方式如下所注。

(1) 执行 BEGIN { commands } 语句块中的语句。

(2) 从文件或 stdin 中读取一行,然后执行 pattern { commands } 。重复这个过程,直到文件全部被读取完毕。

(3) 当读至输入流末尾时,执行 END { commands } 语句块。

3 一般使用

1）普通执行一个最简单的命令

echo -e "hello\nword" | awk 'BEGIN{print "chenyu"} {print} END{print "linux shell"}'
chenyu
hello
word
linux shell      

要记得打印是print "chenyu",这里是双引号

2）带参数打印

echo | awk '{var1="v1"; var2="v2"; var3="v3"; print var1 "-" var2 "-" var3}{}{}'
v1-v2-v3
 
echo | awk '{var1="v1"; var2="v2"; var3="v3"; print var1, var2, var3}{}{}'
v1 v2 v3      

参数要用双引号，打印print后面用，隔开

4 特殊变量

以下是可以用于 awk 的一些特殊变量。

NR :表示记录数量,在执行过程中对应于当前行号。

NF :表示字段数量,在执行过程中对应于当前行的字段数。

$0 :这个变量包含执行过程中当前行的文本内容。

$1 :这个变量包含第一个字段的文本内容。

$2 :这个变量包含第二个字段的文本内容。

echo -e "chen gong yu\n chen cai feng\n chen zi xuan" | awk '{print "Line no:" NR ", all field:" NF, "$0 =" $0, "$1="$1, "$2="$2 "$3="$3}'
Line no:1, all field:3 $0 =chen gong yu $1=chen $2=gong$3=yu
Line no:2, all field:3 $0 = chen cai feng $1=chen $2=cai$3=feng
Line no:3, all field:3 $0 = chen zi xuan $1=chen $2=zi$3=xuan
 
echo -e "chen gong \n chen cai feng\n chen zi xuan" | awk '{print "Line no:" NR ", all field:" NF, "$0 =" $0, "$1="$1, "$2="$2 "$3="$3}'
Line no:1, all field:2 $0 =chen gong  $1=chen $2=gong$3=
Line no:2, all field:3 $0 = chen cai feng $1=chen $2=cai$3=feng
Line no:3, all field:3 $0 = chen zi xuan $1=chen $2=zi$3=xuan      

awk 的一些基本用法

1) 打印每一行的第2和第3个字段

cat 1.txt
1111 22 33
111  44 55
 
 
awk '{print $2, $3}' 1.txt
22 33
44 55      

或者我们打印字一行字符串的第二个字符串

echo "hello word" | awk '{print $1}'

hello

输出的命令得到的结果和awk组合使用

info1=$(md5sum 1.cpp | awk '{print $1}')

info2=$(md5sum 1.cpp | awk '{print $2}')

echo $info1

2f56b3e40c1bdd15feb924049e127b23

echo $info2

1.cpp

2) 要统计文件中的行数

awk 'END{ print NR }' file
 
awk 'END{print NR}' 1.txt
 
2       

3) awk默认是的字段定界符是空格,我们也可以用-F进行来指定如下

echo "chen*yu*ni*hao" | awk -F '*' '{print $3}'
ni