awk

awk是個很好用的東西，大量使用在linux系統分析的結果展示處理上。并且可以使用管道， input | awk '' ?| output 1.首先要知道形式 awk 'command' file 如 awk '{print $0}' a.txt b.txt ? （后面可以跟一個或多個文件） 2.command學習。command是awk的精髓，其結構為 '條件 {動作} 條件2 {動作2} ……' 2.1關鍵字學習： 變量名 含義?
ARGC 命令行變元個數?
ARGV 命令行變元數組?
FILENAME 當前輸入文件名?
FNR 當前文件中的記錄號?
FS 輸入域分隔符，默認為一個空格?
RS 輸入記錄分隔符?
NF 當前記錄里域個數?
NR 到目前為止記錄數?
OFS 輸出域分隔符?
ORS 輸出記錄分隔符 ? 2.2條件與動作。 條件包括： BEGIN END 特殊的兩個，代表初始化和掃尾 判斷：如$1 == "abc" ?$NR == 5 ?/^tcp/（表示正則匹配） ? ?也可不寫條件，則表示“全匹配”。從這個角度來講 條件本質上是一種篩選規則。 動作： {print?NR,NF,$1,$NF,} ? ?{if(xxx) xxx; else xxx;} ? ?{for(key in array) xxx} 3.實例學習： 查看機器建立的各連接數 netstat?-n?|?awk?'/^tcp/?{++state[$NF]}?END?{for(key?in?state)?print?key,"\t",state[key]}' ? 看每個連接的占用內存byte數---apache ps aux|grep -v grep|awk '/httpd/ {sum+=$6;n++};END{print sum/n}' ? 根據逗號對abc文件的每一行進行split，然后按照第二列進行排序，結果輸出到abc-sort中 awk -F, '{print $1}' abc | sort -n -k 2 -t: -r > abc-sort

sort命令解釋：
-n 是按照數字排序
-k 是按照第二列排
-t： 是以：為分隔符
-r 是倒敘 git查看本次需要提交中變更的內容 git diff master HEAD --stat | awk '{printf "%s\n",$1}' |grep domain | awk -F'/' '{printf "%s\n",$NF}' | sort 批量重命名 ls *需要替換* | awk '{org=$0;gsub("需要替換","替換為");system("echo "org" "$0)}'?

sed

sed用法很多，但是根據上節之中，用來做內容替換最多。

sed -i -e 's/^dubbo_provider_version=.*[^e]$/&-pre/' /home/wuji/webroot-xxx/WEB-INF/classes/biz.properties 該命令作用是把?biz.properties中的dubbo_provider_version=1.0.0 替換為dubbo_provider_version=1.0.0-pre 替換的格式為 sed -e ’s/abc/def’ file.txt ?把abc替換為def。其中第一部分的正則在第二部分可以被&取到。注意取到的是從dubbo開頭的全部，而不是.*部分，這是正則表達式的知識。 并且s可以擴展為 舉例2：去掉所有html標簽 $ sed -e 's/<[^>]*>//g' myfile.html g的作用：不加只替換第一個匹配，加了會替換所有匹配 sed -i 直接替換文件而不是在屏幕上輸出? 學習過vim的朋友們可以輕易的聯想到vim的命令模式，也有:s/abc/def的寫法，所以linux下的知識很多都可以觸類旁通。

uniq

uniq可以去除重復行或者做group by的統計 文件file: a a b b b sort file | uniq : a b sort file | uniq -c: 2 a 3 b 之所以和sort組合是要把所有的a弄到一起，防止b后面有a的情況。 uniq -d 只顯示重復的 ，-c只顯示不重復的，兩者互斥。 uniq -dc 只顯示重復并統計?

sort ?

功能說明：將文本文件內容加以排序。 語　　法：sort [-bcdfimMnr][-o<輸出文件>][-t<分隔字符>][+<起始欄位>-<結束欄位>][--help][--verison][文件] 補充說明：sort可針對文本文件的內容，以行為單位來排序。 實例： 以第一個關鍵列的第二個字母開始進行排序： $ sort -k 1.2 file.txt 以關鍵列第一列的第二個字母進行排序，如果第二個字母相同則根據第三列以數值的標準進行降序排列。 $ sort -k 1.2,1.2 -k 3,3nr file.txt? -k 排序字段，按照-t 分隔符來區分的，從0開始。 -n 以數字格式排序。默認string方式比較的話，20和9比較是后者大。 -r 反序 -d 排序時，處理英文字母、數字及空格字符外，忽略其他的字符。 -b 忽略每行前面開始出的空格字符。 -u 去除重復行。（可以利用這個來去重） sort選項沒特別需要講的，需要注意的就是-k。-k選項的具體語法格式如下： [ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ] 這個語法格式可以被其中的逗號（“，”）分為兩大部分，Start部分和End部分。 如果不設定End部分，那么就認為End被設定為行尾。Start部分也由三部分組成，其中的Modifier部分就是我們之前說過的類似n和r的選項部分。 我們重點說說Start部分的FStart和C.Start。 C.Start也是可以省略的，省略的話就表示從本域的開頭部分開始。之前例子中的-k 2和-k 3就是省略了C.Start的例子嘍。 FStart.CStart，其中FStart就是表示使用的域，而CStart則表示在FStart域中從第幾個字符開始算“排序首字符”。 同理，在End部分中，你可以設定FEnd.CEnd，如果你省略.CEnd，則表示結尾到“域尾”，即本域的最后一個字符。或者，如果你將CEnd設定為0(零)，也是表示結尾到“域尾”。?

od

od命令是分析文件內容的工具，很多時候不知道文件的內容編碼，此時用od命令看文件內部的字節構成是最直接的方式，使用方法： od?-Ax?-tcx4 file 。 可以用于分析字符編碼 是否utf-8 ，是否LE,BE 至于如何分辨，還需要了解每種編碼的規則，譬如utf-8一般以三個字節來顯示中文，而gbk則是兩個。

轉載于:https://www.cnblogs.com/violinn/p/4666486.html

總結

以上是生活随笔為你收集整理的基本shell编程【3】- 常用的工具awk\sed\sort\uniq\od的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。