同学们好啊,今天周末,昨天加了一天班,今天才腾出手来,给大家讲讲linux 里功能可能是最强大的命令,awk。
awk 可谓是一个小型化的编程语言,看着像是一个命令而已,其实内里乾坤那可是真的大,不知道今天这篇文章是否能给大家完全讲清楚,如果一节课讲不清楚的话,我们可能还得增加一次。
好的,按照惯例,我们先回顾一下之前学习的内容,如果你想不起来之前的内容的话,请点击下面链接跳转回忆一下:
Shell脚本怎么写?(1-2)——Shell 变量的高级用法
好了,废话不多说,我们开始今天的内容吧。
按照上节课讲过的,我们想了解一个新的linux 命令时,先找一下男人,执行一把 man awk。
结果如下:
先贴一段awk 的概览描述如下:
awk 是一种处理文本文件的语言,是一个强大的文本分析工具。
awk 通过提供编程语言的功能,如变量、数学运算、字符串处理等,使得对文本文件的分析和操作变得非常灵活和高效。
我们经常使用awk 处理以行为粒度的数据,大家一定要记着这个,这是我们在做脚本编程时,有那么多工具命令,具体选择什么工具和命令才能简洁的实现我们想要的功能的基础。
下面先看一个示例,了解一下awk 的强大:
场景如下:
我们有一个score.txt 的文件,具体内容如下:
我们有个需求,假设这个文件的来源是某个程序生成的日志数据文件,当前格式的可读性很差,我们想自动化的处理以上日志文件的数据,并生成一个可读格式的报表。
此时我们就可以使用awk来简单的实现这个功能,而不需要借助任何除了linux 之外的工具和其它语言(如python等)。
那怎么实现呢?
请看下面的内容:
可以看到,我们的score.txt 的日志文件,分别有五列,awk 以行为粒度进行处理。
我们通过简单的awk 脚本语言,把数据进行整理,格式化,求和和平均值等操作后,进行格式化输出。
先看下处理后的运行结果,然后我们再详细解读下以上脚本的每个部分的具体含义。(写到这里的时候,我感觉今天一篇文章估计是介绍不完了,下一篇将继续介绍awk在Linux上的额使用,今天能把awk的语法介绍清楚就不错了)。
我们怎么使用上面的cal.awk 脚本处理score.txt 文件呢?
命令如下:
awk -f cal.awk score.txt
// -f 后跟awk脚本文件名
// 最后跟要处理的文件名即可
执行结果如下:
看到了吧,awk 语言真的强大,可以做变量的保存,分支流程控制,加减乘除计算,格式化输入输出等,它就是一门小型的完备的编程语言。
好的,下面我们来细致的介绍一下awk 的语法和脚本的含义。
我们以每行注释的形式解释一下上面的代码。
#!/bin/awk -f
// 说明是awk脚本,用awk -f 解释的文本
#before running
BEGIN {
math = 0
english = 0
computer = 0
printf "Name No. Math English Computer Total\n"
printf "--------------------------------------------------\n"
}
/*
1. BEGIN 包裹的部分,整个
awk处理流程中只会执行一次,
就是在程序开始执行时,
2. 在BEGIN中,我们做了一些
初始化操作,定义了 math,
english, computer 这三个
变量的值。
3. 并打印了格式化头的内容
注意awk 的printf 语法没有
括号其它的跟shell的printf
基本一致,也跟c语言的差不
多
*/
#running main // 这是注释
{
math += $3
english += $4
computer += $5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1,$2,$3,$4,$5,$3+$4+$5
}
/*
这个大括号里的内容,我们讲过,
awk是以行为粒度进行文本处理
的,所有这个大括号内的内容,
每处理一行,就会调用一次
有多少行文本内容待处理,
就会调用多少次,相当于
一个隐式的for 循环,循环
次数是行数
在这里,我们进行了变量
的递增处理
$1--$5 代表的每一列的数据
awk中默认使用FS=' ' 空格
来进行分列。
score.txt 的内容按照空格
可以分为五列
因此入参$1 - $5 分别代表
某一特定行的某一特定列
的内容
*/
#after running
END {
printf "--------------------------------------------------\n"
printf "Total:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}
/*
最后是END 括起来的部分,
只会在最终处理完成后,
执行收尾工作,仅执行一次
在此,我们打印了变量的汇总
结果
其中NR 是awk 的内置变量,
代表总行数
math/NR 即为数学成绩的
平均值
其它同理
*/
好了,以上就是我们通过注释的形式,解释了一下上面的脚本各个部分的含义,相信大家仔细阅读我写的注释部分,一定会对awk 脚本命令有个初步的了解,至少在awk 脚本执行分为几个部分,每个部分的执行特征, 一些简单的awk 内置变量,变量的定义和使用,格式化输出等方面有个初步的了解。
鉴于这篇文章已经过长了,信息量有点大了,我们的awk命令讲解将再有一期下期,详细介绍awk 内置的其它变量和awk 的流程控制语句以及再linux 脚本中,我们结合top ,ls 等命令查到的结果如何经过awk 进行进一步加工处理等内容。
欲看后事如何,请听下回分解。。。如果你觉得我写的还行的话,别忘了关注哟。