Linux三剑客命令—awk

一、概念说明

官方概念说明：

gawk – pattern scanning and processing language
模式扫描和处理文件语言

AWK 是一种处理文本文件的语言，主要是用来格式化文本，是一个强大的文本分析工具。

之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

二、awk功能应用说明

• 处理文件信息
• 文本文件信息
• 日志文件信息
• 配置文件信息
• 处理文件方式
• 排除信息
• 查询信息
• 统计信息
• 替换信息

三、awk语法原理

3.1 命令语法格式

• 标准格式：

awk [选项] '模式{动作}' [文件信息]
awk [参数] [处理规则] [操作对象]

参数：
    -F : 指定文本分隔符（默认是以空格作为分隔符）

eg：打印系统所有用户的解析器
    awk -F: '{print $NF}' /etc/passwd

• 模式说明（匹配信息）：
• 普通模式（定位）
  1. 正则表达式模式

eg: 打印以root开头的行
    [root@localhost ~]# awk -F: '/^root/{print $0}' /etc/passwd

2. 比较表达式模式

相关符号：
    >
    <
    >=
     $3{print $0}' /etc/passwd

eg：结尾包含bash
    [root@localhost ~]# awk -F: '$NF ~ /bash/{print $0}' /etc/passwd

eg：结尾不包含bash
    [root@localhost ~]# awk -F: '$NF !~ /bash/{print $0}' /etc/passwd

3. 逻辑表达式模式

相关符号：
    &&  : 逻辑与
    ||  ：逻辑或
    !   ：逻辑非

eg：要求属组 + 属主的ID 大于 2000 并且属组 * 属主的ID 大于 2000
    [root@localhost ~]# awk -F: '$3 + $4 > 2000 && $3 * $4 > 2000{print $0}' /etc/passwd
eg：要求属组 + 属主的ID 大于 2000 或者属组 * 属主的ID 大于 2000
    [root@localhost ~]# awk -F: '$3 + $4 > 2000 || $3 * $4 > 2000{print $0}' /etc/passwd
eg：要求属组 + 属主的ID 不大于 2000 （小于等于2000）
    [root@localhost ~]# awk -F: '!($3 + $4 > 2000){print $0}' /etc/passwd

4. 算术表达式模式

相关符号：
    +
    -
    *
    /
    %

eg：要求属组 + 属主的ID 大于 2000
    [root@localhost ~]# awk -F: '$3 + $4 > 2000{print $0}' /etc/passwd
eg：要求属组 * 属主的ID 大于 2000
    [root@localhost ~]# awk -F: '$3 * $4 > 2000{print $0}' /etc/passwd
eg：要求打印偶数行
    [root@localhost ~]# awk -F: 'NR % 2 == 0{print $0}' /etc/passwd
eg：要求打印奇数行
    [root@localhost ~]# awk -F: 'NR % 2 == 1{print $0}' /etc/passwd

5. 条件表达式模式

相关符号：
    ==
    >
    <
    >=

6. 范围表达式模式

eg：打印以root开头到以ftp开头的行
    [root@localhost ~]# awk -F: '/^root/,/^ftp/{print $0}' /etc/passwd

• 特殊模式
  • BEGIN{} 概念说明：括号里面的内容会在awk读取文件之前执行

awk 'BEGIN{print "oldboy"}{print $0}' reg.txt

作用说明：

用于测试
用于计算
修改内置变量

+ END{} 概念说明：括号里面的内容会在awk读取文件之后执行

awk '{print $0}END{print "end of file"}' reg.txt

作用说明：

显示计算最终结果
用于计算

• 内置变量

$0  : 代表当前行
    [root@localhost ~]# awk -F: '{print $0, "---"}' /etc/passwd

$n  ：代表第n列
    [root@localhost ~]# awk -F: '{print $1}' /etc/passwd

NF  ：记录当前行的字段数(表示每一行有多少列)
    [root@localhost ~]# awk -F: '{print NF}' /etc/passwd
    [root@localhost ~]# awk -F: '{print $NF}' /etc/passwd

NR  ：用来表示行号信息
    [root@localhost ~]# awk -F: '{print NR}' /etc/passwd

FS  ：指定文本内容分隔符（默认是空格）
    [root@localhost ~]# awk 'BEGIN{FS=":"}{print $NF, $1}' /etc/passwd

OFS ：指定打印分隔符（默认空格）
    [root@localhost ~]# awk -F: 'BEGIN{OFS=" >>> "}{print $NF, $1}' /etc/passwd

FS 的优先级要高于 -F：-F “:” ==>BEGIN{FS=”:”} ==> -vFS=”:”

3.2 命令执行过程

grep、sed和awk都是读一行处理一行，直至处理完成。

awk的生命周期如下：

1. 接收一行作为输入；
2. 把刚刚读入进来得到的文本进行分解；
3. 使用处理规则处理文本；
4. 输入一行，赋值给$0，直至处理完成；
5. 把处理完成之后的所有的数据交给END{}来再次处理；

四、awk实践操作

4.1 实践环境创建

cat >>./reg.txt<

4.2 命令操作实践

• 查询实践 查找实践参数：

指定列的分隔符号(参数)： -F ""
显示指定行号信息(模式)： NR==
显示指定列的信息(动作)： print

案例说明：

按行查找文件数据信息：
    awk 'NR==1' reg.txt
    awk  '/250/' reg.txt

按行按列查找文件信息：
    awk -F':' 'NR==1{print $1}' reg.txt
    awk -F':' 'NR==1{print $1,$2}' reg.txt
    awk -F':' '$3~/0+/' reg.txt

~ 在awk中表示匹配或者包含什么信息； !~ 在awk中表示不匹配或者不包含什么信息；
* 查询测验(显示有关指定行的指定列的信息)

[En]

query quiz (displays information about specified columns of specified rows)*

1. 显示xiaoyu的姓氏和ID号码

条件是什么: 找出第二列包含xiaoyu的信息
动作是什么: 显示xiaoyu这行指定列信息
实践操作:
    awk '$2~/Xiaoyu/{print $1,$3}' reg.txt

1. 姓氏是zhang的人,显示他的第二次捐款金额及他的名字

条件是什么: 找出第一列包含zhang的信息
动作是什么: 显示zhang这行指定列信息
实践操作:
    awk -F '[ :]+' '$1~/Zhang/{print $1 $2,$5}' reg.txt
    awk -F '[ :]+' '$1~/Zhang/{print $1 $2,$(NF-1)}' reg.txt

1. 显示所有以41开头的ID号码的人的全名和ID号码

条件是什么: 显示以41开头的ID号
动作是什么: 显示41开头号码，人的全名的对应列
实践操作:
    awk '$3~/^41/{print $1 $2,$3}' reg.txt

1. 显示所有ID号码最后一位数字是1或5的人的全名

条件是什么: 以1或5结尾的ID号码
动作是什么: 显示人的全名对应列
实践操作:
    awk '$3~/[15]$/{print $1 $2}' reg.txt
    awk '$3~/(1|5)$/{print $1 $2}' reg.txt
    awk '$3~/1$|5$/{print $1 $2}' reg.txt

1. 显示Xiaoyu的捐款信息,并以$开头, 如：$110$220$330

条件是什么: 找出xiaoyu的信息
动作是什么: 显示捐款信息,在数值前赋予$
实践操作:
    awk '$2~/Xiaoyu/{gsub(/:/,"$",$NF);print $0}' reg.txt

gsub 是一个函数。
* 特殊模式应用案例
1. 统计/etc/services文件中空行数量

grep应用：
    grep '^$' /etc/services|wc -l
    grep -c '^$' /etc/services

awk应用：
    awk '/^$/{i++}END{print i}' /etc/services  (表示前面先计算,最后通过END将结果进行显示)

1. 统计/etc/passwd文件中有多少个虚拟用户

awk '/nologin$/{i++}END{print i}' /etc/passwd

1. 统计文件中的数值的和

seq 10|awk '{sum=sum+$0}END{print sum}'

五、awk相关扩展

4.1 awk中的函数

print   : 打印
printf  ：格式化打印
    %s  : 字符串
    %d  ：数字
    -   ：左对齐
    +   ：右对齐
    15(任意数字)  : 至少占用15字符

eg：
    [root@localhost ~]# awk -F: 'BEGIN{OFS=" | "}{printf "|%-15s|%-15s|\n", $NF,$1}' /etc/passwd

4.2 awk中的流程控制(只存在循环之中)

if：
    if(){}
    if(){}else{}
    if(){}else if(){}else{}

eg：
    [root@localhost ~]# awk -F: '{if($3>$4){print "大于"}else{print "小于或等于"}}' /etc/passwd

for：
    for(i="初始值";条件判断;游标){}

 eg：
    [root@localhost ~]# awk -F: '{for(i=10;i>0;i--){print $0}}' /etc/passwd

while：
    while(条件判断){}

eg：
    [root@localhost ~]# awk -F: '{i=1; while(i

4.3 awk数组详述

• 数组知识学习准备 统计计算方法说明：

i=i+1 ：
先计算右边,将右边数值给左边变量
i=0 i=0+1 i=1+1    (统计次数)

eg：
    awk '/^$/{i=i+1;print i}' /etc/services
    awk '/^$/{i++;print i}' /etc/services

i=i+$0 ： 表示对每行的数字进行累加求和运算
i=0 i=0+$0 i=$0(上一行)+$0(当前行)  （求和运算）

eg：
    seq 10|awk '{sum=sum+$n;print $n,sum}'

• 数组概念知识说明 数组形式说明：

hotel[110]="张三" :
hotel       数组名称
[110]       数组元素
"张三"     元素内容

数组实际应用：

awk 'BEGIN{h[110]="UFO";h[114]="XO";print h[110],h[114]}'
...

Original: https://www.cnblogs.com/JZjuechen/p/15721299.html
Author: JZEason
Title: Linux三剑客命令—awk