Linux 文件處理三劍客 指的是grep,awk,sed 三條指令

為什么要學這三條指令?

　　如果你入侵了別人的系統要對日志進行清除，你不可能直接把別人日志文件刪了吧，而且絕大部分時候你是通過交互式的命令行來進行操控他人系統的，你能看到別人文件內容 但是如果有成千上萬的代碼 你真一個一個找么？(隱藏遠比破壞重要的多) 刪了日志 一定會被發現入侵 而修改就不一定了

grep能通過模式匹配 包括正則表達式搜索文本，并進行輸出 grep相比sed 功能較少 是以行為單位進行字符串對比過濾
格式： grep [-n] [-A] [-B] [--color==auto] '搜索字符串' filename

參數有：

-a 或 --text: 不要忽略二進制的數據。
-A<顯示行數> 或 --after-context=<顯示行數>: 除了顯示符合范本樣式的那一列之外，并顯示該行之后的內容。
-b 或 --byte-offset: 在顯示符合樣式的那一行之前，標示出該行第一個字符的編號。
-B<顯示行數> 或 --before-context=<顯示行數>: 除了顯示符合樣式的那一行之外，并顯示該行之前的內容。
-c 或 --count: 計算符合樣式的列數。
-C<顯示行數> 或 --context=<顯示行數>或-<顯示行數>: 除了顯示符合樣式的那一行之外，并顯示該行之前后的內容。
-d <動作> 或 --directories=<動作>: 當指定要查找的是目錄而非文件時，必須使用這項參數，否則grep指令將回報信息并停止動作。
-e<范本樣式> 或 --regexp=<范本樣式>: 指定字符串做為查找文件內容的樣式。
-E 或 --extended-regexp: 將樣式為延伸的正則表達式來使用。
-f<規則文件> 或 --file=<規則文件>: 指定規則文件，其內容含有一個或多個規則樣式，讓grep查找符合規則條件的文件內容，格式為每行一個規則樣式。
-F 或 --fixed-regexp: 將樣式視為固定字符串的列表。
-G 或 --basic-regexp: 將樣式視為普通的表示法來使用。
-h 或 --no-filename: 在顯示符合樣式的那一行之前，不標示該行所屬的文件名稱。
-H 或 --with-filename: 在顯示符合樣式的那一行之前，表示該行所屬的文件名稱。
-i 或 --ignore-case: 忽略字符大小寫的差別。
-l 或 --file-with-matches: 列出文件內容符合指定的樣式的文件名稱。
-L 或 --files-without-match: 列出文件內容不符合指定的樣式的文件名稱。
-n 或 --line-number: 在顯示符合樣式的那一行之前，標示出該行的列數編號。
-o 或 --only-matching: 只顯示匹配PATTERN 部分。
-q 或 --quiet或--silent: 不顯示任何信息。
-r 或 --recursive: 此參數的效果和指定"-d recurse"參數相同。
-s 或 --no-messages: 不顯示錯誤信息。
-v 或 --invert-match: 顯示不包含匹配文本的所有行。
-V 或 --version: 顯示版本信息。
-w 或 --word-regexp: 只顯示全字符合的列。
-x --line-regexp: 只顯示全列符合的列。
-y: 此參數的效果和指定"-i"參數相同

幾個與滲透相關聯的例子:

從很多內容的文件中找到關鍵詞-flag

例子1: vim test.txt

a
b
#c
dd
opg
flag .........................

寫入內容

然后 命令 : cat test.txt|grep 'flag'

可打印出含有flag 關鍵字的那一行

例子2 ： 命令 grep flag *txt

查找當前目錄下所有含有flag 的txt文件 并將文件含flag關鍵詞的一行打印

例子3： 命令 grep flag xx*

查找前綴有xx且包含關鍵詞flag 的文件

例子4： 命令 grep -r flag /

遞歸查詢指定目錄下包含flag的文件

例子5： 命令 grep -i 'flag' /

打印指定目錄下包含flag文件的那一行 不區分大小寫（比賽中可能有故意大寫的flag）

例子6： 補充grep –e "正則表達式" 文件名

比較靈活 效果和之前 差不多 不過需要用到正則表達式

注意：grep 命令 一般用于找包含某字符串的某文件的內容 不用于找文件

SED指令：利用腳本來處理文本文件

語法

sed [-hnV][-e<script>][-f<script文件>][文本文件]

參數說明：

-e<script>或--expression=<script> 以選項中指定的script來處理輸入的文本文件。
-f<script文件>或--file=<script文件> 以選項中指定的script文件來處理輸入的文本文件。
-h或--help 顯示幫助。
-n或--quiet或--silent 僅顯示script處理后的結果。
-V或--version 顯示版本信息。

動作說明：

a ：新增， a 的后面可以接字串，而這些字串會在新的一行出現(目前的下一行)～
c ：取代， c 的后面可以接字串，這些字串可以取代 n1,n2 之間的行！
d ：刪除，因為是刪除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字串，而這些字串會在新的一行出現(目前的上一行)；
p ：打印，亦即將某個選擇的數據印出。通常 p 會與參數 sed -n 一起運行～
s ：取代，可以直接進行取代的工作哩！通常這個 s 的動作可以搭配正規表示法！例如 1,20s/old/new/g 就是啦

相比于grep 指令 sed指令最重要的是能對文件進行增刪改

例子1 ： 類似grep -i flag *txt 命令 : cat 2.txt|sed '/flag/p'

查看2.txt下所有含flag的行 不區分大小寫
例子2: cat 2.txt|sed '/flag/d' 刪除所有含flag的行
例子3： sed '' 2.txt 可以直接打開2.txt 查看里面的內容 我理解是 ''是腳本執行的第一步 讀取文件 這里因為沒有其他命令就直接輸出了

例子4：

數據的搜尋并執行命令

搜索/etc/passwd,找到root對應的行，執行后面花括號中的一組命令，每個命令之間用分號分隔，這里把bash替換為blueshell，再輸出這行：

nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p;q}'    
1  root:x:0:0:root:/root:/bin/blueshell




主要記找到flag并打印就行

AWK:

awk [選項參數] 'script' var=value file(s)
或
awk [選項參數] -f scriptfile var=value file(s)

選項參數說明：

-F fs or --field-separator fs
指定輸入文件折分隔符，fs是一個字符串或者是一個正則表達式，如-F:。
-v var=value or --asign var=value
賦值一個用戶定義變量。
-f scripfile or --file scriptfile
從腳本文件中讀取awk命令。
-mf nnn and -mr nnn
對nnn值設置內在限制，-mf選項限制分配給nnn的最大塊數目；-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴展功能，在標準awk中不適用。
-W compact or --compat, -W traditional or --traditional
在兼容模式下運行awk。所以gawk的行為和標準的awk完全一樣，所有的awk擴展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright
打印簡短的版權信息。
-W help or --help, -W usage or --usage
打印全部awk選項和每個選項的簡短說明。
-W lint or --lint
打印不能向傳統unix平臺移植的結構的警告。
-W lint-old or --lint-old
打印關于不能向傳統unix平臺移植的結構的警告。
-W posix
打開兼容模式。但有以下限制，不識別：/x、函數關鍵字、func、換碼序列以及當fs是一個空格時，將新行作為一個域分隔符；操作符**和**=不能代替^和^=；fflush無效。
-W re-interval or --re-inerval
允許間隔正則表達式的使用，參考(grep中的Posix字符類)，如括號表達式[[:alpha:]]。
-W source program-text or --source program-text
使用program-text作為源代碼，可與-f命令混用。
-W version or --version
打印bug報告信息的版本。

例子1 ： 命令awk '{print $1,$3}' 2.txt

指定打印出 2.txt中的第一和第三行

例子2： 命令awk '$0 ~ /flag/ {print $1,$5}' 2.txt

找到2.txt文件下所有包含flag的列 并打印第一列 列與列之間以空格區分 比如 a空格b a為第一列 b為第二列
一樣可以找flag 如果題目把sed過濾了

例子3： 命令 awk '/flag/' 2.txt

打印出2.txt下包含flag關鍵字的行

總結

以上是生活随笔為你收集整理的Linux 命令-高级-文件处理&quot;三剑客&quot;的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。