优秀的编程知识分享平台

网站首页 > 技术文章 正文

Shell脚本怎么写?Linux命令之awk上期(awk是一门语言概述)

nanyue 2025-03-01 14:52:55 技术文章 7 ℃

同学们好啊,今天周末,昨天加了一天班,今天才腾出手来,给大家讲讲linux 里功能可能是最强大的命令,awk。

awk 可谓是一个小型化的编程语言,看着像是一个命令而已,其实内里乾坤那可是真的大,不知道今天这篇文章是否能给大家完全讲清楚,如果一节课讲不清楚的话,我们可能还得增加一次。

好的,按照惯例,我们先回顾一下之前学习的内容,如果你想不起来之前的内容的话,请点击下面链接跳转回忆一下:

Shell脚本怎么写?(0)

Shell脚本怎么写?(1)——Shell 变量类型和定义

Shell脚本怎么写?(1-2)——Shell 变量的高级用法

Shell脚本怎么写?之 Shell脚本中的流程控制(1)

Shell脚本怎么写?之 Shell脚本中的流程控制(2)

Shell脚本怎么写?之简单Shell 脚本编写实践

Shell脚本怎么写?之简单Shell 脚本函数和模块

Shell脚本怎么写?Linux命令三剑客之sed命令

好了,废话不多说,我们开始今天的内容吧。

按照上节课讲过的,我们想了解一个新的linux 命令时,先找一下男人,执行一把 man awk。

结果如下:

先贴一段awk 的概览描述如下:

awk 是一种处理文本文件的语言,是一个强大的文本分析工具。

awk 通过提供编程语言的功能,如变量、数学运算、字符串处理等,使得对文本文件的分析和操作变得非常灵活和高效。

我们经常使用awk 处理以行为粒度的数据,大家一定要记着这个,这是我们在做脚本编程时,有那么多工具命令,具体选择什么工具和命令才能简洁的实现我们想要的功能的基础。

下面先看一个示例,了解一下awk 的强大:

场景如下:

我们有一个score.txt 的文件,具体内容如下:

我们有个需求,假设这个文件的来源是某个程序生成的日志数据文件,当前格式的可读性很差,我们想自动化的处理以上日志文件的数据,并生成一个可读格式的报表。

此时我们就可以使用awk来简单的实现这个功能,而不需要借助任何除了linux 之外的工具和其它语言(如python等)。

那怎么实现呢?

请看下面的内容:

可以看到,我们的score.txt 的日志文件,分别有五列,awk 以行为粒度进行处理。

我们通过简单的awk 脚本语言,把数据进行整理,格式化,求和和平均值等操作后,进行格式化输出。

先看下处理后的运行结果,然后我们再详细解读下以上脚本的每个部分的具体含义。(写到这里的时候,我感觉今天一篇文章估计是介绍不完了,下一篇将继续介绍awk在Linux上的额使用,今天能把awk的语法介绍清楚就不错了)。

我们怎么使用上面的cal.awk 脚本处理score.txt 文件呢?

命令如下:

awk -f cal.awk score.txt
// -f 后跟awk脚本文件名
// 最后跟要处理的文件名即可

执行结果如下:

看到了吧,awk 语言真的强大,可以做变量的保存,分支流程控制,加减乘除计算,格式化输入输出等,它就是一门小型的完备的编程语言。

好的,下面我们来细致的介绍一下awk 的语法和脚本的含义。

我们以每行注释的形式解释一下上面的代码。

#!/bin/awk -f
// 说明是awk脚本,用awk -f 解释的文本

#before running
BEGIN {
        math = 0
        english = 0
        computer = 0

        printf "Name    No.   Math    English    Computer    Total\n"
        printf "--------------------------------------------------\n"
}
/* 
1. BEGIN 包裹的部分,整个
awk处理流程中只会执行一次,
就是在程序开始执行时,

2. 在BEGIN中,我们做了一些
初始化操作,定义了 math,
english, computer 这三个
变量的值。

3. 并打印了格式化头的内容
注意awk 的printf 语法没有
括号其它的跟shell的printf
基本一致,也跟c语言的差不
多
*/

#running main // 这是注释
{
        math += $3
    english += $4
        computer += $5
        printf "%-6s %-6s %4d %8d %8d %8d\n", $1,$2,$3,$4,$5,$3+$4+$5
}
/*
这个大括号里的内容,我们讲过,
awk是以行为粒度进行文本处理
的,所有这个大括号内的内容,
每处理一行,就会调用一次

有多少行文本内容待处理,
就会调用多少次,相当于
一个隐式的for 循环,循环
次数是行数

在这里,我们进行了变量
的递增处理

$1--$5 代表的每一列的数据
awk中默认使用FS=' ' 空格
来进行分列。
score.txt 的内容按照空格
可以分为五列
因此入参$1 - $5 分别代表
某一特定行的某一特定列
的内容
*/

#after running
END {
        printf "--------------------------------------------------\n"
        printf "Total:%10d %8d %8d \n", math, english, computer
        printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

/*
最后是END 括起来的部分,
只会在最终处理完成后,
执行收尾工作,仅执行一次

在此,我们打印了变量的汇总
结果

其中NR 是awk 的内置变量,
代表总行数

math/NR 即为数学成绩的
平均值
其它同理
*/

好了,以上就是我们通过注释的形式,解释了一下上面的脚本各个部分的含义,相信大家仔细阅读我写的注释部分,一定会对awk 脚本命令有个初步的了解,至少在awk 脚本执行分为几个部分,每个部分的执行特征, 一些简单的awk 内置变量,变量的定义和使用,格式化输出等方面有个初步的了解。

鉴于这篇文章已经过长了,信息量有点大了,我们的awk命令讲解将再有一期下期,详细介绍awk 内置的其它变量和awk 的流程控制语句以及再linux 脚本中,我们结合top ,ls 等命令查到的结果如何经过awk 进行进一步加工处理等内容。

欲看后事如何,请听下回分解。。。如果你觉得我写的还行的话,别忘了关注哟。

最近发表
标签列表