首页 Linux教程linux文本处理-awk

linux文本处理-sed

linux正则表达式

运维派隶属马哥教育旗下专业运维社区,是国内成立最早的IT运维技术社区,欢迎关注公众号:yunweipai
领取学习更多免费Linux云计算、Python、Docker、K8s教程关注公众号:马哥linux运维

文本处理三剑客之 awk

awk 工作原理和基本用法说明

awk:Aho, Weinberger, Kernighan,报告生成器,格式化文本输出,GNU/Linux发布的AWK目前由自由软件基金会(FSF)进行开发和维护,通常也称它为 GNU AWK

有多种版本:

  • AWK:原先来源于 AT & T 实验室的的AWK
  • NAWK:New awk,AT & T 实验室的AWK的升级版
  • GAWK:即GNU AWK。所有的GNU/Linux发布版都自带GAWK,它与AWK和NAWK完全兼容

gawk:模式扫描和处理语言,可以实现下面功能

  • 文本处理
  • 输出格式化的文本报表
  • 执行算数运算
  • 执行字符串操作

格式:

说明:

program通常是被放在单引号中,并可以由三种部分组成

  • BEGIN语句块
  • 模式匹配的通用语句块
  • END语句块

常见选项:

  • -F “分隔符” 指明输入时用到的字段分隔符
  • -v var=value 变量赋值

Program格式:

pattern:决定动作语句何时触发及触发事件,比如:BEGIN,END
action statements:对数据进行处理,放在{}内指明,常见:print, printf

awk 工作过程

awk

第一步:执行BEGIN{action;… }语句块中的语句
第二步:从文件或标准输入(stdin)读取一行,然后执行pattern{ action;… }语句块,它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件全部被读取完毕。
第三步:当读至输入流末尾时,执行END{action;…}语句块
BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
END语句块在awk从输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是一个可选语句块
pattern语句块中的通用命令是最重要的部分,也是可选的。如果没有提供pattern语句块,则默认执行{ print },即打印每一个读取到的行,awk读取的每一行都会执行该语句块

分割符、域和记录

  • 文件的每一行称为记录record
  • 如果省略action,则默认执行 print ​\$0 的操作

常用的action分类

  • output statements:print,printf
  • Expressions:算术,比较表达式等
  • Compound statements:组合语句
  • Control statements:if, while等
  • input statements

awk控制语句

  • { statements;… } 组合语句
  • if(condition) {statements;…}
  • if(condition) {statements;…} else {statements;…}
  • while(conditon) {statments;…}
  • do {statements;…} while(condition)
  • for(expr1;expr2;expr3) {statements;…}
  • break
  • continue
  • exit
动作 print

格式:

说明:

  • 逗号分隔符
  • 输出item可以字符串,也可是数值;当前记录的字段、变量或awk的表达式
  • 如省略item,相当于print $0

范例:

awk变量

awk中的变量分为:内置和自定义变量

常见的内置变量

FS:输入字段分隔符,默认为空白字符,功能相当于 -F

范例:

OFS:输出字段分隔符,默认为空白字符

范例:

RS:输入记录分隔符,指定输入时的换行符

范例:

ORS:输出记录分隔符,输出时用指定符号代替换行符

范例:

NF:字段数量

范例:

范例: 将连接数超过3个以上的IP放入黑名单拒绝访问

NR:记录编号

范例:

FNR:各文件分别计数,记录号

范例:

FILENAME:当前文件名

范例:

ARGC:命令行参数的个数

范例:

ARGV:数组,保存的是命令行所给定的各参数

范例:

自定义变量(区分字符大小写)

  • -v var=value
  • 在program中直接定义

范例:

5.3.4 动作 printf

printf 可以实现格式化输出

格式:

说明:

  • 必须指定FORMAT
  • 不会自动换行,需要显式给出换行控制符,\n
  • FORMAT中需要分别为后面每个item指定格式符

格式符:与item一一对应

  • %c:显示字符的ASCII码
  • %d, %i:显示十进制整数
  • %e, %E:显示科学计数法数值
  • %f:显示为浮点数
  • %g, %G:以科学计数法或浮点形式显示数值
  • %s:显示字符串
  • %u:无符号整数
  • %%:显示%自身

修饰符

范例:

操作符

算术操作符:

字符串操作符:没有符号的操作符,字符串连接

赋值操作符:

范例:

比较操作符:

模式匹配符:

范例:

逻辑操作符:

范例:

条件表达式(三目表达式)

范例:

模式PATTERN

PATTERN:根据pattern条件,过滤匹配的行,再做处理

  1. 如果未指定:空模式,匹配每一行

范例:

  1. /regular expression/:仅处理能够模式匹配到的行,需要用/ /括起来

范例:

  1. relational expression: 关系表达式,结果为“真”才会被处理
    真:结果为非0值,非空字符串
    假:结果为空字符串或0值

范例:

  1. line ranges:行范围

/pat1/,/pat2/ 不支持直接给出数字格式

范例:

  1. BEGIN/END模式

    BEGIN{}:仅在开始处理文件中的文本之前执行一次

    END{}:仅在文本处理完成之后执行一次

范例

条件判断 if-else

语法:

使用场景:对awk取得的整行或某个字段做条件判断

范例:

switch语句

语法:

循环while

语法:

条件“真”,进入循环;条件“假”,退出循环
使用场景:
对一行内的多个字段逐一类似处理时使用
对数组中的各元素逐一处理时使用

示例:

循环 do-while

语法:

意义:无论真假,至少执行一次循环体

do-while循环
语法:do {statement;…}while(condition)
意义:无论真假,至少执行一次循环体

范例:

循环for

语法:

常见用法:

特殊用法:能够遍历数组中的元素

范例:

范例:

性能比较

continue和break

格式:

范例:

next

next 可以提前结束对本行处理而直接进入下一行处理(awk自身循环)

范例:

数组

awk的数组为关联数组

格式

范例:

index-expression

  • 可使用任意字符串;字符串要使用双引号括起来
  • 如果某数组元素事先不存在,在引用时,awk会自动创建此元素,并将其值初始化为“空串”
  • 若要判断数组中是否存在某元素,要使用“index in array”格式进行遍历

范例:

范例:

范例:判断数组索引是否存在

若要遍历数组中的每个元素,要使用for循环

注意:var会遍历array的每个索引

范例:遍历数组

范例:

范例:多维数组

awk函数

awk 的函数分为内置和自定义函数

常见内置函数

数值处理:
rand():返回0和1之间一个随机数

srand():配合rand() 函数,生成随机数的种子

int():返回整数

范例:

字符串处理:

length([s]):返回指定字符串的长度

sub(r,s,[t]):对t字符串搜索r表示模式匹配的内容,并将第一个匹配内容替换为s

范例:

gsub(r,s,[t]):对t字符串进行搜索r表示的模式匹配的内容,并全部替换为s所表示的内容

范例:

split(s,array,[r]):以r为分隔符,切割字符串s,并将切割后的结果保存至array所表示的数组中,第一个索引值为1,第二个索引值为2,…

范例:

system 函数:可以awk中调用shell命令
空格是awk中的字符串连接符,如果system中需要使用awk中的变量可以使用空格分隔,或者说除了awk的变量外其他一律用""引用起来

自定义函数

自定义函数格式:

范例:

awk脚本

将awk程序写成脚本,直接调用或执行

范例:

范例:

向awk脚本传递参数

格式:

注意:在BEGIN过程中不可用。直到首行输入完成以后,变量才可用。可以通过-v 参数,让awk在执行BEGIN之前得到变量的值。命令行中每一个指定的变量都需要一个-v参数

范例:

练习

1、文件host_list.log 如下格式,请提取”.magedu.com”前面的主机名部分并写入到回到该文件中

参考答案:

2、统计/etc/fstab文件中每个文件系统类型出现的次数
3、统计/etc/fstab文件中每个单词出现的次数
4、提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字
5、有一文件记录了1-100000之间随机的整数共5000个,存储的格式100,50,35,89…请取出其中最大和最小的整数
6、解决DOS攻击生产案例:根据web日志或者或者网络连接数,监控当某个IP并发连接数或者短时内PV达到100,即调用防火墙命令封掉对应的IP,监控频率每隔5分钟。防火墙命令为:iptables -A INPUT -s IP -j REJECT

7、将以下文件内容中FQDN取出并根据其进行计数从高到低排序

参考答案:

8、将以下文本以inode为标记,对inode相同的counts进行累加,并且统计出同一inode中,beginnumber的最小值和endnumber的最大值

输出的结果格式为:

本文链接:http://www.yunweipai.com/33891.html

linux文本处理-sed

linux正则表达式

网友评论comments

发表评论

电子邮件地址不会被公开。

暂无评论

Copyright © 2012-2020 YUNWEIPAI.COM - 运维派
扫二维码
扫二维码
返回顶部