偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

Linux基礎(chǔ)命令介紹八：文本分析awk

作者：vvpale
系統(tǒng) Linux
awk是一種模式掃描和處理語言，在對(duì)數(shù)據(jù)進(jìn)行分析處理時(shí)，是十分強(qiáng)大的工具。awk的工作過程是這樣的：按行讀取輸入(標(biāo)準(zhǔn)輸入或文件)，對(duì)于符合模式pattern的行，執(zhí)行action。當(dāng)pattern省略時(shí)表示匹配任何字符串;當(dāng)action省略時(shí)表示執(zhí)行'{print}';它們不可以同時(shí)省略。

[[179646]] 

awk是一種模式掃描和處理語言，在對(duì)數(shù)據(jù)進(jìn)行分析處理時(shí)，是十分強(qiáng)大的工具。

 

  1. awk [options] 'pattern {action}' file... 

awk的工作過程是這樣的：按行讀取輸入(標(biāo)準(zhǔn)輸入或文件)，對(duì)于符合模式pattern的行，執(zhí)行action。當(dāng)pattern省略時(shí)表示匹配任何字符串;當(dāng)action省略時(shí)表示執(zhí)行'{print}';它們不可以同時(shí)省略。

每一行輸入，對(duì)awk來說都是一條記錄(record)，awk使用$0來引用當(dāng)前記錄：

  1. [root@centos7 ~]# head -1 /etc/passwd | awk '{print $0}' 
  2. root:x:0:0:root:/root:/bin/bash 

 

例子中將命令head -1 /etc/passwd作為awk的輸入，awk省略了pattern，action為print $0，意為打印當(dāng)前記錄。

對(duì)于每條記錄，awk使用分隔符將其分割成列，***列用$1表示，第二列用$2表示...***一列用$NF表示

選項(xiàng)-F表示指定分隔符

如輸出文件/etc/passwd***行***列(用戶名)和***一列(登錄shell)：

  1. [root@centos7 ~]# head -1 /etc/passwd | awk -F: '{print $1,$NF}' 
  2. root /bin/bash 

 

當(dāng)沒有指定分隔符時(shí)，使用一到多個(gè)blank(空白字符，由空格鍵或TAB鍵產(chǎn)生)作為分隔符。輸出的分隔符默認(rèn)為空格。

如輸出命令ls -l *的結(jié)果中，文件大小和文件名：

  1. [root@centos7 temp]# ls -l * | awk '{print $5,$NF}' 
  2. 13 b.txt 
  3. 58 c.txt 
  4. 12 d.txt 
  5. 0 e.txt 
  6. 0 f.txt 
  7. 24 test.sh 
  8. [root@centos7 temp]#  

 

還可以對(duì)任意列進(jìn)行過濾：

  1. [root@centos7 temp]# ls -l *|awk '$5>20 && $NF ~ /txt$/' 
  2. -rw-r--r-- 1 nobody nobody 58 11月 16 16:34 c.txt 

 

其中$5>20表示第五列的值大于20;&&表示邏輯與;$NF ~ /txt$/中，~表示匹配，符號(hào)//內(nèi)部是正則表達(dá)式。這里省略了action，整條awk語句表示打印文件大小大于20字節(jié)并且文件名以txt結(jié)尾的行。

awk用NR表示行號(hào)

  1. [root@centos7 temp]# awk '/^root/ || NR==2' /etc/passwd 
  2. root:x:0:0:root:/root:/bin/bash 
  3. bin:x:1:1:bin:/bin:/sbin/nologin 
  4. [root@centos7 temp]# 

 

例子中||表示邏輯或，語句表示：輸出文件/etc/passwd中以root開頭的行或者第二行。

在一些情況下，使用awk過濾甚至比使用grep更靈活

如獲得ifconfig的輸出中網(wǎng)卡名及其對(duì)應(yīng)的mtu值

  1. [root@idc-v-71253 ~]# ifconfig|awk '/^\S/{print $1"\t"$NF}' 
  2. ens32:  1500 
  3. ens33:  1500 
  4. lo:     65536 
  5. [root@idc-v-71253 ~]#  
  6. #這里的正則表示不以空白字符開頭的行，輸出內(nèi)容中使用\t進(jìn)行了格式化。 

 

#這里的正則表示不以空白字符開頭的行，輸出內(nèi)容中使用\t進(jìn)行了格式化。

以上所說的NR、NF等都是awk的內(nèi)建變量，下面列出部分常用內(nèi)置變量

  1. $0          當(dāng)前記錄（這個(gè)變量中存放著整個(gè)行的內(nèi)容） 
  2. $1~$n       當(dāng)前記錄的第n個(gè)字段，字段間由FS分隔 
  3. FS          輸入字段分隔符 默認(rèn)是空格或Tab 
  4. NF          當(dāng)前記錄中的字段個(gè)數(shù)，就是有多少列 
  5. NR          行號(hào)，從1開始，如果有多個(gè)文件話，這個(gè)值也不斷累加。 
  6. FNR         輸入文件行號(hào) 
  7. RS          輸入的記錄分隔符， 默認(rèn)為換行符 
  8. OFS         輸出字段分隔符， 默認(rèn)也是空格 
  9. ORS         輸出的記錄分隔符，默認(rèn)為換行符 
  10. FILENAME    當(dāng)前輸入文件的名字 

 

awk中還可以使用自定義變量，如將網(wǎng)卡名賦值給變量a，然后輸出網(wǎng)卡名及其對(duì)應(yīng)的RX bytes的值(注意不同模式匹配及其action的寫法)：

  1. [root@idc-v-71253 ~]# ifconfig|awk '/^\S/{a=$1}/RX p/{print a,$5}' 
  2. ens32: 999477100 
  3. ens33: 1663197120 
  4. lo: 0 

 

awk中有兩個(gè)特殊的pattern：BEGIN和END;它們不會(huì)對(duì)輸入文本進(jìn)行匹配，BEGIN對(duì)應(yīng)的action部分組合成一個(gè)代碼塊，在任何輸入開始之前執(zhí)行;END對(duì)應(yīng)的action部分組合成一個(gè)代碼塊，在所有輸入處理完成之后執(zhí)行。

  1. #注意類似于C語言的賦值及print函數(shù)用法 
  2. [root@centos7 temp]# ls -l *|awk 'BEGIN{print "size name\n---------"}$5>20{x+=$5;print $5,$NF}END{print "---------\ntotal",x}' 
  3. size name 
  4. --------- 
  5. 58 c.txt 
  6. 24 test.sh 
  7. --------- 
  8. total 82 
  9. [root@centos7 temp]# 

 

awk還支持?jǐn)?shù)組，數(shù)組的索引都被視為字符串(即關(guān)聯(lián)數(shù)組)，可以使用for循環(huán)遍歷數(shù)組元素

如輸出文件/etc/passwd中各種登錄shell及其總數(shù)量

  1. #注意數(shù)組賦值及for循環(huán)遍歷數(shù)組的寫法 
  2. [root@centos7 temp]# awk -F ':' '{a[$NF]++}END{for(i in a) print i,a[i]}' /etc/passwd 
  3. /bin/sync 1 
  4. /bin/bash 2 
  5. /sbin/nologin 19 
  6. /sbin/halt 1 
  7. /sbin/shutdown 1 
  8. [root@centos7 temp]#  

 

當(dāng)然也有if分支語句

  1. #注意大括號(hào)是如何界定action塊的 
  2. [root@centos7 temp]# netstat -antp|awk '{if($6=="LISTEN"){x++}else{y++}}END{print x,y}' 
  3. 6 3 
  4. [root@centos7 temp]#  

 

pattern之間可以用逗號(hào)分隔，表示從匹配***個(gè)模式開始直到匹配第二個(gè)模式

  1. [root@centos7 ~]# awk '/^root/,/^adm/' /etc/passwd        
  2. root:x:0:0:root:/root:/bin/bash 
  3. bin:x:1:1:bin:/bin:/sbin/nologin 
  4. daemon:x:2:2:daemon:/sbin:/sbin/nologin 
  5. adm:x:3:4:adm:/var/adm:/sbin/nologin 

 

還支持三目操作符pattern1 ? pattern2 : pattern3，表示判斷pattern1是否匹配，true則匹配pattern2，false則匹配pattern3，pattern也可以是類似C語言的表達(dá)式。

如判斷文件/etc/passwd中UID大于500的登錄shell是否為/bin/bash，是則輸出整行，否則輸出UID為0的行：

  1. #注意為避免混淆對(duì)目錄分隔符進(jìn)行了轉(zhuǎn)義 
  2. [root@centos7 ~]# awk -F: '$3>500?/\/bin\/bash$/:$3==0 {print $0}' /etc/passwd          
  3. root:x:0:0:root:/root:/bin/bash 
  4. learner:x:1000:1000::/home/learner:/bin/bash 
  5. #三目運(yùn)算符也可以嵌套，例子略 

 

選項(xiàng)-f file表示從file中讀取awk指令

  1. #打印斐波那契數(shù)列前十項(xiàng) 
  2. [root@centos7 temp]# cat test.awk  
  3. BEGIN{ 
  4.     $1=1 
  5.     $2=1 
  6.     OFS="," 
  7.     for(i=3;i<=10;i++) 
  8.     { 
  9.         $i=$(i-2)+$(i-1) 
  10.     } 
  11.     print 
  12. } 
  13. [root@centos7 temp]# awk -f test.awk  
  14. 1,1,2,3,5,8,13,21,34,55 
  15. [root@centos7 temp]#  

 

選項(xiàng)-F指定列分隔符

 

  1. #多個(gè)字符作為分隔符時(shí) 
  2. [root@centos7 temp]# echo 1.2,3:4 5|awk -F '[., :]' '{print $2,$NF}' 
  3. 2 5 
  4. [root@centos7 temp]# 
  5. #這里-F后單引號(hào)中的內(nèi)容也是正則表達(dá)式 

 

選項(xiàng)-v var=val設(shè)定變量

  1. #這里printf函數(shù)用法類似C語言同名函數(shù) 
  2. [root@centos7 ~]# awk -v n=5 'BEGIN{for(i=0;i<n;i++) printf "%02d\n",i}'   
  3. 00 
  4. 01 
  5. 02 
  6. 03 
  7. 04 
  8. [root@centos7 ~]#  

 

print等函數(shù)還支持使用重定向符>和>>將輸出保存至文件

  1. #如按***列(IP)分類拆分文件access.log，并保存至ip.txt文件中 
  2. [root@centos7 temp]# awk '{print > $1".txt"}' access.log  
  3. [root@centos7 temp]# ls -l 172.20.71.* 
  4. -rw-r--r-- 1 root root 5297 11月 22 21:33 172.20.71.38.txt 
  5. -rw-r--r-- 1 root root 1236 11月 22 21:33 172.20.71.39.txt 
  6. -rw-r--r-- 1 root root 4533 11月 22 21:33 172.20.71.84.txt 
  7. -rw-r--r-- 1 root root 2328 11月 22 21:33 172.20.71.85.txt 

 

內(nèi)建函數(shù)

length()獲得字符串長度

 

  1. [root@centos7 temp]# awk -F: '{if(length($1)>=16)print}' /etc/passwd  
  2. systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin 
  3. [root@centos7 temp]# 

 

split()將字符串按分隔符分隔，并保存至數(shù)組

  1. [root@centos7 temp]# head -1 /etc/passwd|awk '{split($0,arr,/:/);for(i=1;i<=length(arr);i++) print arr[i]}' 
  2. root 
  3. x 
  4. 0 
  5. 0 
  6. root 
  7. /root 
  8. /bin/bash 
  9. [root@centos7 temp]#  

 

getline從輸入(可以是管道、另一個(gè)文件或當(dāng)前文件的下一行)中獲得記錄，賦值給變量或重置某些環(huán)境變量

  1. #從shell命令date中通過管道獲得當(dāng)前的小時(shí)數(shù) 
  2. [root@centos7 temp]# awk 'BEGIN{"date"|getline;split($5,arr,/:/);print arr[1]}' 
  3. 09 
  4. #從文件中獲取，此時(shí)會(huì)覆蓋當(dāng)前的$0。(注意逐行處理b.txt的同時(shí)也在逐行從c.txt中獲得記錄并覆蓋$0，當(dāng)getline先遇到eof時(shí)<即c.txt文件行數(shù)較少>將輸出空行) 
  5. [root@centos7 temp]# awk '{getline <"c.txt";print $4}' b.txt  
  6. "https://segmentfault.com/blog/learnning" 
  7. [root@centos7 temp]#  
  8. #賦值給變量 
  9. [root@centos7 temp]# awk '{getline blog <"c.txt";print $0"\n"blog}' b.txt  
  10. aasdasdadsad 
  11. BLOG ADDRESS IS "https://segmentfault.com/blog/learnning" 
  12. [root@centos7 temp]#  
  13. #讀取下一行(也會(huì)覆蓋當(dāng)前$0) 
  14. [root@centos7 temp]# cat file 
  15. anny 
  16. 100 
  17. bob 
  18. 150 
  19. cindy 
  20. 120 
  21. [root@centos7 temp]# awk '{getline;total+=$0}END{print total}' file 
  22. 370 
  23. #此時(shí)表示只對(duì)偶數(shù)行進(jìn)行處理 

 

next作用和getline類似，也是讀取下一行并覆蓋$0，區(qū)別是next執(zhí)行后，其后的命令不再執(zhí)行，而是讀取下一行從頭再執(zhí)行。

  1. #跳過以a-s開頭的行，統(tǒng)計(jì)行數(shù)，打印最終結(jié)果 
  2. [root@centos7 temp]# awk '/^[a-s]/{next}{count++}END{print count}' /etc/passwd 
  3. 2 
  4. [root@centos7 temp]#  
  5. #又如合并相同列的兩個(gè)文件 
  6. [root@centos7 temp]# cat f.txt  
  7. 學(xué)號(hào) 分值 
  8. 00001 80 
  9. 00002 75 
  10. 00003 90 
  11. [root@centos7 temp]# cat e.txt  
  12. 姓名 學(xué)號(hào) 
  13. 張三 00001 
  14. 李四 00002 
  15. 王五 00003 
  16. [root@centos7 temp]# awk 'NR==FNR{a[$1]=$2;next}{print $0,a[$2]}' f.txt e.txt    
  17. 姓名 學(xué)號(hào) 分值 
  18. 張三 00001 80 
  19. 李四 00002 75 
  20. 王五 00003 90 
  21. #這里當(dāng)讀***個(gè)文件時(shí)NR==FNR成立，執(zhí)行a[$1]=$2，然后next忽略后面的。讀取第二個(gè)文件時(shí)，NR==FNR不成立，執(zhí)行后面的打印命令 

 

sub(regex,substr,string)替換字符串string(省略時(shí)為$0)中***出現(xiàn)匹配正則regex的子串substr

  1. [root@centos7 temp]# echo 178278 world|awk 'sub(/[0-9]+/,"hello")' 
  2. hello world 
  3. [root@centos7 temp]# 

 

gsub(regex,substr,string)與sub()類似，但不止替換***個(gè)，而是全局替換

  1. [root@centos7 temp]# head -n5 /etc/passwd|awk '{gsub(/[0-9]+/,"----");print $0}'      
  2. root:x:----:----:root:/root:/bin/bash 
  3. bin:x:----:----:bin:/bin:/sbin/nologin 
  4. daemon:x:----:----:daemon:/sbin:/sbin/nologin 
  5. adm:x:----:----:adm:/var/adm:/sbin/nologin 
  6. lp:x:----:----:lp:/var/spool/lpd:/sbin/nologin 

 

substr(str,n,m)切割字符串str，從第n個(gè)字符開始，切割m個(gè)。如果m省略，則到結(jié)尾

  1. [root@centos7 temp]# echo "hello,世界！"|awk '{print substr($0,8,1)}' 
  2. 界 
  3. [root@centos7 temp]# 

 

tolower(str)和toupper(str)表示大小寫轉(zhuǎn)換

  1. [root@centos7 temp]# echo "hello,世界！"|awk '{A=toupper($0);print A}' 
  2. HELLO,世界！ 
  3. [root@centos7 temp]# 

 

system(cmd)執(zhí)行shell命令cmd，返回執(zhí)行結(jié)果，執(zhí)行成功為0，失敗為非0

  1. #此處if語句判斷和C語言一致，0為false，非0為true 
  2. [root@centos7 temp]# awk 'BEGIN{if(!system("date>/dev/null"))print "success"}' 
  3. success 
  4. [root@centos7 temp]#  

 

match(str,regex)返回字符串str中匹配正則regex的位置

  1. [root@centos7 temp]# awk 'BEGIN{A=match("abc.f.11.12.1.98",/[0-9]{1,3}\./);print A}' 
  2. 7 
  3. [root@centos7 temp]#  

 

awk作為一個(gè)編程語言可以處理各種各樣的問題，甚至于編寫應(yīng)用軟件，但它更常用的地方是命令行下的文本分析，生成報(bào)表等，這些場(chǎng)景下awk工作的很好。工作中如經(jīng)常有文本分析的需求，那么掌握這個(gè)命令的用法將為你節(jié)省大量的時(shí)間。

責(zé)任編輯：龐桂玉 來源： segmentfault
linuxshellawk
相關(guān)推薦

2019-03-21 14:30:15

Linux文本分析命令

2019-11-06 16:40:31

awkLinux文本分析工具

2021-03-06 07:00:00

awk文本分析工具Linux

2016-12-07 18:22:23

shelllinuxgrep

2016-11-15 15:50:22

linux基礎(chǔ)命令vim

2016-12-23 13:07:11

shelllinuxsed

2010-03-05 13:19:23

2016-12-08 22:26:28

2016-12-29 11:13:30

shellbashlinux

2016-12-27 19:10:38

Linux命令啟動(dòng)流程

2020-07-07 10:50:19

Python丄則表達(dá)文本

2017-08-04 14:00:32

Linuxawk變量

2016-12-23 12:46:41

Linux命令進(jìn)程與內(nèi)存

2016-12-27 19:29:14

Linux命令定時(shí)任務(wù)

2017-04-27 08:54:54

Python文本分析網(wǎng)絡(luò)

2025-06-10 08:25:00

Python文本分析數(shù)據(jù)分析

2010-01-05 16:55:44

JSON 文本

2023-06-28 11:49:56

Linux命令

2016-12-14 19:24:41

2016-12-27 10:34:57

Linux命令軟件包管理
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)