Linux awk命令详解??????????(研究)
http://blog.chinaunix.net/uid-25120309-id-3801250.html
?
一.??AWK?說明
??awk是一種編程語言，用于在linux/unix下對文本和數據進行處理。數據可以來自標準輸入、一個或多個文件，或其它命令的輸出。它支持用戶自定義函數和動態正則表達式等先進功能，是linux/unix下的一個強大編程工具。它在命令行中使用，但更多是作為腳本來使用。
? ?awk的處理文本和數據的方式：它逐行掃描文件，從第一行到最后一行，尋找匹配的特定模式的行，并在這些行上進行你想要的操作。如果沒有指定處理動作，則把匹配的行顯示到標準輸出(屏幕)，如果沒有指定模式，則所有被操作所指定的行都被處理。
? ?awk分別代表其作者姓氏的第一個字母。因為它的作者是三個人，分別是Alfred Aho、Brian Kernighan、Peter Weinberger。
???gawk是awk的GNU版本，它提供了Bell實驗室和GNU的一些擴展。下面介紹的awk是以GUN的gawk為例的，在linux系統中已把awk鏈接到gawk，所以下面全部以awk進行介紹。
二. awk命令格式和選項
2.1 awk的語法有兩種形式
? ?1. 命令行方式
??awk [-F field-separator] 'commands' input-file(s)
? 其中，commands是真正awk命令，[-F域分隔符]是可選的。input-file(s)是待處理的文件。
? 在awk中，文件的每一行中，由域分隔符分開的每一項稱為一個域。通常，在不指名-F域分隔符的情況下，默認的域分隔符是空格。
? 2. 將所有的awk命令插入一個單獨文件，然后調用:
??awk -f awk-script-file input-file(s)
? 其中，-f選項加載awk-script-file中的awk腳本，input-file(s)跟上面的是一樣的。
2.2 命令選項
（1）-F fs or --field-separator fs?：指定輸入文件折分隔符，fs是一個字符串或者是一個正則表達式，如-F:。
（2）-v var=value or --asign var=value?：賦值一個用戶定義變量。
（3）-f scripfile or --file scriptfile?：從腳本文件中讀取awk命令。
（4）-mf nnn and -mr nnn?：對nnn值設置內在限制，-mf選項限制分配給nnn的最大塊數目；-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴展功能，在標準awk中不適用。
（5）-W compact or --compat,?-W traditional or --traditional?：在兼容模式下運行awk。所以gawk的行為和標準的awk完全一樣，所有的awk擴展都被忽略。
（6）-W copyleft or --copyleft,?-W copyright or --copyright?：打印簡短的版權信息。
（7）-W help or --help,?-W usage or --usage?：打印全部awk選項和每個選項的簡短說明。
（8）-W lint or --lint?：打印不能向傳統unix平臺移植的結構的警告。
（9）-W lint-old or --lint-old?：打印關于不能向傳統unix平臺移植的結構的警告。
（10）-W posix?：打開兼容模式。但有以下限制，不識別：/x、函數關鍵字、func、換碼序列以及當fs是一個空格時，將新行作為一個域分隔符；操作符**和**=不能代替^和^=；fflush無效。
（11）-W re-interval or --re-inerval?：允許間隔正則表達式的使用，參考(grep中的Posix字符類)，如括號表達式[[:alpha:]]。
（12）-W source program-text or --source program-text?：使用program-text作為源代碼，可與-f命令混用。
（13）-W version or --version?：打印bug報告信息的版本。
三. 使用方法
? ? ?盡管操作可能會很復雜，但語法總是這樣，其中 pattern 表示 AWK 在數據中查找的內容，而 action 是在找到匹配內容時所執行的一系列命令?；ɡㄌ?#xff08;{}）不需要在程序中始終出現，但它們用于根據特定的模式對一系列指令進行分組。 pattern就是要表示的正則表達式，用斜杠括起來。
? ? ?awk語言的最基本功能是在文件或者字符串中基于指定規則瀏覽和抽取信息，awk抽取信息后，才能進行其他文本操作。完整的awk腳本通常用來格式化文本文件中的信息。
? ? ?通常，awk是以文件的一行為處理單位的。awk每接收文件的一行，然后執行相應的命令，來處理文本。
四.?模式和操作
awk腳本是由模式和操作組成的：
? ? pattern {action}?如$ awk '/root/' test，或$ awk '$3 < 100' test。
????兩者是可選的，如果沒有模式，則action應用到全部記錄，如果沒有action，則輸出匹配全部記錄。默認情況下，每一個輸入行都是一條記錄，但用戶可通過RS變量指定不同的分隔符進行分隔。
4.1.?模式
?模式可以是以下任意一個：
（1）正則表達式：使用通配符的擴展集。
（2）關系表達式：可以用下面運算符表中的關系運算符進行操作，可以是字符（3）串或數字的比較，如$2>%1選擇第二個字段比第一個字段長的行。
（4）模式匹配表達式：用運算符~(匹配)和~!(不匹配)。
（5）模式，模式：指定一個行的范圍。該語法不能包括BEGIN和END模式。
（6）BEGIN：讓用戶指定在第一條輸入記錄被處理之前所發生的動作，通?？稍谶@里設置全局變量。
（7）END：讓用戶在最后一條輸入記錄被讀取之后發生的動作。
?
4.2.?操作
?操作由一人或多個命令、函數、表達式組成，之間由換行符或分號隔開，并位于大括號內。主要有四部份：
（1）變量或數組賦值
（2）輸出命令
（3）內置函數
（4）控制流命令
?
五.?awk的環境變量
| 變量 | 描述 |
| $n | 當前記錄的第n個字段，字段間由FS分隔。 |
| $0 | 完整的輸入記錄。 |
| ARGC | 命令行參數的數目。 |
| ARGIND | 命令行中當前文件的位置(從0開始算)。 |
| ARGV | 包含命令行參數的數組。 |
| CONVFMT | 數字轉換格式(默認值為%.6g) |
| ENVIRON | 環境變量關聯數組。 |
| ERRNO | 最后一個系統錯誤的描述。 |
| FIELDWIDTHS | 字段寬度列表(用空格鍵分隔)。 |
| FILENAME | 當前文件名。 |
| FNR | 同NR，但相對于當前文件。 |
| FS | 字段分隔符(默認是任何空格)。 |
| IGNORECASE | 如果為真，則進行忽略大小寫的匹配。 |
| NF | 當前記錄中的字段數。 |
| NR | 當前記錄數。 |
| OFMT | 數字的輸出格式(默認值是%.6g)。 |
| OFS | 輸出字段分隔符(默認值是一個空格)。 |
| ORS | 輸出記錄分隔符(默認值是一個換行符)。 |
| RLENGTH | 由match函數所匹配的字符串的長度。 |
| RS | 記錄分隔符(默認是一個換行符)。 |
| RSTART | 由match函數所匹配的字符串的第一個位置。 |
| SUBSEP | 數組下標分隔符(默認值是/034)。 |
?
六.?awk運算符
| 運算符 | 描述 |
| = += -= *= /= %= ^= **= | 賦值 |
| ?: | C條件表達式 |
| || | 邏輯或 |
| && | 邏輯與 |
| ~ ~! | 匹配正則表達式和不匹配正則表達式 |
| < <= > >= != == | 關系運算符 |
| 空格 | 連接 |
| + - | 加，減 |
| * / & | 乘，除與求余 |
| + - ! | 一元加，減和邏輯非 |
| ^ *** | 求冪 |
| ++ -- | 增加或減少，作為前綴或后綴 |
| $ | 字段引用 |
| in | 數組成員 |
?
七.?記錄和域
7.1.?記錄
? ?awk把每一個以換行符結束的行稱為一個記錄。
???記錄分隔符：默認的輸入和輸出的分隔符都是回車，保存在內建變量ORS和RS中。
???$0變量：它指的是整條記錄。如$ awk '{print $0}' test將輸出test文件中的所有記錄。
???變量NR：一個計數器，每處理完一條記錄，NR的值就增加1。
???如$ awk '{print NR,$0}' test將輸出test文件中所有記錄，并在記錄前顯示記錄號。
?
7.2.?域
???記錄中每個單詞稱做“域”，默認情況下以空格或tab分隔。awk可跟蹤域的個數，并在內建變量NF中保存該值。如$ awk '{print $1,$3}' test將打印test文件中第一和第三個以空格分開的列(域)。
?
7.3.?域分隔符
???內建變量FS保存輸入域分隔符的值，默認是空格或tab。我們可以通過-F命令行選項修改FS的值。如$ awk -F: '{print $1,$5}' test將打印以冒號為分隔符的第一，第五列的內容。
???可以同時使用多個域分隔符，這時應該把分隔符寫成放到方括號中，如$awk -F'[:/t]' '{print $1,$3}' test，表示以空格、冒號和tab作為分隔符。
???輸出域的分隔符默認是一個空格，保存在OFS中。如$ awk -F: '{print $1,$5}' test，$1和$5間的逗號就是OFS的值。
八.?匹配操作符(~)
???用來在記錄或者域內匹配正則表達式。如$ awk '$1 ~/^root/' test將顯示test文件第一列中以root開頭的行。
?
九.?比較表達式
? ?conditional expression1 ? expression2: expression3，
? ?例如：
? ?$ awk '{max = {$1 > $3} ? $1: $3: print max}' test。如果第一個域大于第三個域，$1就賦值給max，否則$3就賦值給max。
? ?$ awk '$1 + $2 < 100' test。如果第一和第二個域相加大于100，則打印這些行。
? ?$ awk '$1 > 5 && $2 < 10' test,如果第一個域大于5，并且第二個域小于10，則打印這些行。
?
十.?范圍模板
???范圍模板匹配從第一個模板的第一次出現到第二個模板的第一次出現之間所有行。如果有一個模板沒出現，則匹配到開頭或末尾。如$ awk '/root/,/mysql/' test將顯示root第一次出現到mysql第一次出現之間的所有行。
十一.?示例
1. ?入門實例
1.1?顯示最近登錄的5個帳號:??
1.2?如果只是顯示/etc/passwd的賬戶:
1.3?如果只是顯示/etc/passwd的賬戶和賬戶對應的shell,而賬戶與shell之間以tab鍵分割:
1.4?如果只是顯示/etc/passwd的賬戶和賬戶對應的shell,而賬戶與shell之間以逗號分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh":
1.5?搜索/etc/passwd有root關鍵字的所有行:
這種是pattern的使用示例，匹配了pattern(這里是root)的行才會執行action(沒有指定action，默認輸出每行的內容)。
搜索支持正則，例如找root開頭的:?awk -F: '/^root/' /etc/passwd
1.6?搜索/etc/passwd有root關鍵字的所有行，并顯示對應的shell
1.7 其他小示例:
$ awk '/^(no|so)/' test-----打印所有以模式no或so開頭的行。
$ awk '/^[ns]/{print $1}' test-----如果記錄以n或s開頭，就打印這個記錄。
$ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----如果第一個域以兩個數字結束就打印這個記錄。
$ awk '$1 == 100 || $2 < 50' test-----如果第一個或等于100或者第二個域小于50，則打印該行。
$ awk '$1 != 10' test-----如果第一個域不等于10就打印該行。
$ awk '/test/{print $1 + 10}' test-----如果記錄包含正則表達式test，則第一個域加10并打印出來。
$ awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test-----如果第一個域大于5則打印問號后面的表達式值，否則打印冒號后面的表達式值。
$ awk '/^root/,/^mysql/' test----打印以正則表達式root開頭的記錄到以正則表達式mysql開頭的記錄范圍內的所有記錄。如果找到一個新的正則表達式root開頭的記錄，則繼續打印直到下一個以正則表達式mysql開頭的記錄為止，或到文件末尾。
2. awk內置變量示例
統計/etc/passwd:文件名，每行的行號，每行的列數，對應的完整行內容:
使用printf替代print,可以讓代碼更加簡潔，易讀
#awk -F ':' '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd? ?awk中同時提供了print和printf兩種打印輸出的函數。
? ?其中print函數的參數可以是變量、數值或者字符串。字符串必須用雙引號引用，參數用逗號分隔。如果沒有逗號，參數就串聯在一起而無法區分。這里，逗號的作用與輸出文件的分隔符的作用是一樣的，只是后者是空格而已。
? ?printf函數，其用法和c語言中printf基本相似,可以格式化字符串,輸出復雜時，printf更加好用，代碼更易懂。
3.?awk自定義變量
3.1. 下面統計/etc/passwd的賬戶人數:
#awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd root:x:0:0:root:/root:/bin/bash ...... user count is ?40count是自定義變量。之前的action{}里都是只有一個print,其實print只是一個語句，而action{}可以有多個語句，以;號隔開。
3.2.?這里沒有初始化count，雖然默認是0，但是妥當的做法還是初始化為0:
3.3.?統計某個文件夾下的文件占用的字節數:
3.4?如果以M為單位顯示:
注意，統計不包括文件夾的子目錄。
4. 條件語句
統計某個文件夾下的文件占用的字節數,過濾4096大小的文件(一般都是文件夾):
#ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}'? [end]size is ?8.22339 M
5.?循環語句
顯示/etc/passwd的賬戶:
#awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd? 0 root? 1 daemon? 2 bin? 3 sys? 4 sync? 5 games ......總結
以上是生活随笔為你收集整理的Linux awk命令详解??????????(研究)的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： maven nexus 私服的搭建学习
- 下一篇： linux常用命令总结