linux基础-3
| 管道相關命令
目標
- cut
- sort
- wc
- uniq
- tee
- tr
- split
- awk
- sed
- grep
-
準備數據
zhangsan 68 99 26 lisi 98 66 96 wangwu 38 33 86 zhaoliu 78 44 36 maq 88 22 66 zhouba 98 44 46 -
以上是成績表信息
-
使用 逗號 分割, 第一列 是 姓名, 第二列是 語文成績, 第三列是 數學成績, 第四列是 英語成績
-
需求1: 按照 數學成績排名, 取出前三名
-
需求2: 顯示 學生的數學成績
-
需求3: 顯示 數學平均分
-
需求4: 如何將大文件 切割成 若干小文件
-
準備工作
cd /export/ && rm -rf * vim 1.txt 111:aaa:bbb:ccc 222:ddd:eee:fff 333:ggg:hhh 444:iii
1 cut
1.1 目標
- cut 根據條件 從命令結果中 提取 對應內容
1.2 路徑
- 第一步: 截取出1.txt文件中前2行的第5個字符
- 第二步: 截取出1.txt文件中前2行以”:”進行分割的第1,2,3段內容(方式二)
1.3 實現
第一步: 截取出1.txt文件中前2行的第5個字符
| cut 動作 文件 | 從指定文件 截取內容 |
- 參數
| -c | characters | 按字符選取內容 |
答案：
head -2 1.txt | cut -c 5 [root@node01 export]# cut -c 5 1.txt a d g i[root@node01 export]# cat 1.txt 111:aaa:bbb:ccc 222:ddd:eee:fff 333:ggg:hhh 444:iii[root@node01 export]# cat 1.txt | cut -c 5 a d g i[root@node01 export]# head -2 1.txt 111:aaa:bbb:ccc 222:ddd:eee:fff[root@node01 export]# head -2 1.txt | cut -c 5 a d第二步: 截取出1.txt文件中前2行以”:”進行分割的第1,2,3段內容
| -d '分隔符' | delimiter | 指定分隔符 |
| -f n1,n2 | fields | 分割以后顯示第幾段內容, 使用 , 分割 |
范圍控制
| n | 只顯示第n項 |
| n- | 顯示 從第n項 一直到行尾 |
| n-m | 顯示 從第n項 到 第m項(包括m) |
答案：
head -2 1.txt | cut -d ':' -f 1,2,3或者
head -2 1.txt | cut -d ':' -f 1-31.3 小結
- 通過 cut 動作 目標文件 可以根據條件 提取對應內容
2 sort 的 工作原理
2.1 目標
- sort可針對文本文件的內容，以行為單位來排序。
2.2 路徑
- 第一步: 對字符串排序
- 第二步: 去重排序
- 第三步: 對數值排序
- 第四步: 對成績排序
2.3 實現
第一步: 對字符串排序
- 準備工作
第二步: 去重排序
| -u | unique | 去掉重復的 |
它的作用很簡單，就是在輸出行中去除重復行。
[root@node01 export]# cat 2.txt banana apple pear orange pear [root@node01 export]# sort 2.txt apple banana orange pear pear You have new mail in /var/spool/mail/root [root@node01 export]# sort -u 2.txt apple banana orange pear [root@node01 export]# cat 2.txt | sort -u apple banana orange pear第三步: 對數值排序
| -n | numeric-sort | 按照數值大小排序 |
| -r | reverse | 使次序顛倒 |
-
準備數據
cd /export/ vim 3.txt 1 3 5 7 11 2 4 6 10 8 9 -
默認按照字符串排序
[root@node01 export]# sort 3.txt 1 10 11 2 3 4 5 6 7 8 9 [root@node01 export]# cat 3.txt | sort 1 10 11 2 3 4 5 6 7 8 9 -
升序
[root@node01 export]# sort -n 3.txt 1 2 3 4 5 6 7 8 9 10 11 [root@node01 export]# cat 3.txt | sort -n 1 2 3 4 5 6 7 8 9 10 11 -
倒序
[root@node01 export]# cat 3.txt | sort -n -r 11 10 9 8 7 6 5 4 3 2 1 -
合并式
[root@node01 export]# cat 3.txt | sort -nr 11 10 9 8 7 6 5 4 3 2 1
第四步: 對成績排序
| -t | field-separator | 指定字段分隔符 |
| -k | key | 根據那一列排序 |
-
準備工作
cd /export vim 4.txt zhangsan 68 99 26 lisi 98 66 96 wangwu 38 33 86 zhaoliu 78 44 36 maqi 88 22 66 zhouba 98 44 46 -
練習: 根據第二段成績 進行倒序顯示 所有內容
[root@node01 export]# cat 4.txt zhangsan 68 99 26 lisi 98 66 96 wangwu 38 33 86 zhaoliu 78 44 36 maqi 88 22 66 zhouba 98 44 46 [root@node01 export]# cat 4.txt | sort -t ' ' -k 2 wangwu 38 33 86 zhangsan 68 99 26 zhaoliu 78 44 36 maqi 88 22 66 zhouba 98 44 46 lisi 98 66 96 [root@node01 export]# cat 4.txt | sort -t ' ' -k 2 -n -r zhouba 98 44 46 lisi 98 66 96 maqi 88 22 66 zhaoliu 78 44 36 zhangsan 68 99 26 wangwu 38 33 86
2.4 小結
- 通過 sort 選項 文件 可以對文件內容進行排序
3 wc命令
3.1 目標
- 顯示指定文件 字節數, 單詞數, 行數 信息.
3.2 路徑
- 第一步: 顯示指定文件 字節數, 單詞數, 行數 信息.
- 第二步: 只顯示 文件 的行數
- 第三步: 統計多個文件的 行數 單詞數 字節數
- 第四步: 查看 /etc 目錄下 有多少個 子內容
3.3 實現
第一步: 顯示指定文件 字節數, 單詞數, 行數 信息.
| wc 文件名 | 顯示指定文件 字節數, 單詞數, 行數 信息 |
-
準備工作
cd /export/ vim 5.txt 111 222 bbb 333 aaa bbb 444 aaa bbb ccc 555 aaa bbb ccc ddd 666 aaa bbb ccc ddd eee -
練習: 顯示指定文件 字節數, 單詞數, 行數 信息.
第二步: 只顯示 文件 的行數
| -c | bytes | 字節數 |
| -w | words | 單詞數 |
| -l | lines | 行數 |
第三步: 統計多個文件的 行數 單詞數 字節數
[root@node01 export]# wc 2.txt 3.txt 4.txt 5.txt 5 5 30 2.txt11 11 24 3.txt6 24 94 4.txt6 21 85 5.txt28 61 233 total [root@node01 export]# wc *.txt5 5 30 2.txt11 11 24 3.txt6 24 94 4.txt6 21 85 5.txt28 61 233 total第四步: 查看 /etc 目錄下 有多少個 子內容
ll /etc | wc -l3.4 小結
- 通過 wc 文件 就可以 統計 文件的 字節數、單詞數、行數.
4 uniq
uniq 命令用于檢查及刪除文本文件中重復出現的行，一般與 sort 命令結合使用。
4.1 目標
-
uniq 命令用于檢查及刪除文本文件中重復出現的行，一般與 sort 命令結合使用。
4.2路徑
- 第一步：實現去重效果
- 第二步：不但去重，還要 統計出現的次數
4.3 實現
第一步：實現去重效果
| uniq [參數] 文件 | unique 唯一 | 去除重復行 |
-
準備工作
cd /export/ vim 6.txt 張三 98 李四 100 王五 90 趙六 95 麻七 70 李四 100 王五 90 趙六 95 麻七 70 -
需求: 實現去重效果
?
- [root@node01 export]# cat 6.txt 張三 98 李四 100 王五 90 趙六 95 麻七 70 李四 100 王五 90 趙六 95 麻七 70 [root@node01 export]# cat 6.txt | sort 張三 98 李四 100 李四 100 王五 90 王五 90 趙六 95 趙六 95 麻七 70 麻七 70 [root@node01 export]# cat 6.txt | sort | uniq 張三 98 李四 100 王五 90 趙六 95 麻七 70
第二步：不但去重，還要 統計出現的次數
| -c | count | 統計每行內容出現的次數 |
4.4 小結
- 通過 uniq [選項] 文件 就可以完成 去重行 和 統計次數
5 tee
5.1 目標
- 通過 tee 可以將命令結果 通過管道 輸出到 多個文件中
5.2 實現
| 命令結果 | tee 文件1 文件2 文件3 | 通過 tee 可以將命令結果 通過管道 輸出到 多個文件中 |
-
將去重統計的結果 放到 a.txt、b.txt、c.txt 文件中
[root@node01 export]# ls 2.txt 3.txt 4.txt 5.txt 6.txt [root@node01 export]# cat 6.txt | sort | uniq -c | tee a.txt b.txt c.txt1 張三 982 李四 1002 王五 902 趙六 952 麻七 70 [root@node01 export]# ls 2.txt 3.txt 4.txt 5.txt 6.txt a.txt b.txt c.txt [root@node01 export]# cat a.txt 1 張三 982 李四 1002 王五 902 趙六 952 麻七 70
5.3 小結
- 通過 tee 可以將命令結果 通過管道 輸出到 多個文件中
6 tr
6.1 目標
- 通過 tr 命令用于 替換 或 刪除 文件中的字符。
6.2 路徑
- 第一步: 實現 替換 效果
- 第二步: 實現 刪除 效果
- 第三步: 完成 單詞計數 案例
6.3 實現
第一步: 實現 替換效果
| 命令結果 | tr 被替換的字符 新字符 | translate | 實現 替換效果 |
-
準備工作
cd /export vim 7.txt itheima HELLO abc1d4e5f -
需求:
# 將 小寫i 替換成 大寫 I # 把 小寫 的轉換為大寫 # 把 大寫 轉成 小寫
第二步: 實現刪除效果
| 命令結果 | tr -d 被刪除的字符 | delete | 刪除指定的字符 |
- 需求: 刪除abc1d4e5f中的數字
第三步: 單詞計數
-
準備工作
cd /export vim 8.txt hello,world,hadoop hive,sqoop,flume,hello kitty,tom,jerry,world hadoop分析:
1 將, 換成 換行2 排序3 去重4 計數 -------- 查看文件內容 [root@node01 export]# cat 8.txt hello,world,hadoop hive,sqoop,flume,hello kitty,tom,jerry,world hadoop-------- 將 逗號, 替換成 換行符 [root@node01 export]# cat 8.txt | tr ',' '\n' hello world hadoop hive sqoop flume hello kitty tom jerry world hadoop-------- 排序 [root@node01 export]# cat 8.txt | tr ',' '\n' | sort flume hadoop hadoop hello hello hive jerry kitty sqoop tom world world-------- 去重 [root@node01 export]# cat 8.txt | tr ',' '\n' | sort | uniq flume hadoop hello hive jerry kitty sqoop tom world-------- 計數 [root@node01 export]# cat 8.txt | tr ',' '\n' | sort | uniq -c1 flume2 hadoop2 hello1 hive1 jerry1 kitty1 sqoop1 tom2 world [root@node01 export]#
6.4 小結
-
通過 tr [選項] 字符1 字符2 可以 實現 替換 和 刪除 效果
-
準備工作
# 清空目錄內容 cd /export/ && rm -rf *# 查看 /etc目錄下 以.conf以結尾的文件的內容 cat -n /etc/*.conf# 將命令結果 追加到 /export/v.txt 文件中 cat -n /etc/*.conf >> /export/v.txt# 查看文件內容 ls# 查看新文件的行數 wc -l v.txt
7 split
7.1 目標
- 通過 split 命令將大文件 切分成 若干小文件
7.2 路徑
- 第一步: 按 字節 將 大文件 切分成 若干小文件
- 第二步: 按 行數 將 大文件 切分成 若干小文件
7.3 實現
第一步: 按 字節 將 大文件 切分成 若干小文件
| split -b 10k 文件 | byte | 將大文件切分成若干10KB的小文件 |
第二步: 按 行數 將 大文件 切分成 若干小文件
| split -l 1000 文件 | lines | 將大文件切分成若干1000行 的小文件 |
7.4 小結
-
通過 split 選項 文件名 命令將大文件 切分成 若干小文件
-
準備工作1:
# 清空指定目錄內容 cd /export && rm -rf *# 新建文件 vim score.txt zhangsan 68 99 26 lisi 98 66 96 wangwu 38 33 86 zhaoliu 78 44 36 maq 88 22 66 zhouba 98 44 46
8 awk(重點重點重點)
8.1 目標
- 通過 awk 實現 模糊查詢, 按需提取字段, 還可以進行 判斷 和 簡單的運算等.
8.2 步驟
-
第一步: 模糊查詢
-
第二步: 指定分割符, 根據下標顯示內容
-
第三步: 指定輸出字段的分割符
-
第四步: 調用 awk 提供的函數
-
第五步: 通過if語句判斷$4是否及格
-
第六步: 段內容 求和
8.3 實現
第一步: 搜索含有 zhang 和 li 的學生成績
| awk ‘/搜索字符/’ score.txt | 模糊查詢 |
第二步: 指定分割符, 根據下標顯示內容
| awk -F ‘,’ ‘{print $1, $2, $3}’ 文件 | 操作1.txt文件, 根據 逗號 分割, 打印 第一段 第二段 第三段 內容 |
選項
| -F ',' | field-separator | 使用 指定字符 分割 |
| $ + 數字 | 獲取第幾段內容 | |
| $0 | 獲取 當前行 內容 | |
| NF | field | 表示當前行共有多少個字段 |
| $NF | 代表 最后一個字段 | |
| $(NF-1) | 代表 倒數第二個字段 | |
| NR | 代表 處理的是第幾行 |
第三步: 指定分割符, 根據下標顯示內容
| awk -F ’ ’ ‘{OFS="==="}{print $1, $2, $3}’ 1.txt | 操作1.txt文件, 根據 逗號 分割, 打印 第一段 第二段 第三段 內容 |
選項
| OFS="字符" | output field separator | 向外輸出時的段分割字符串 |
| \b | 退格 |
| \f | 換頁 |
| \n | 換行 |
| \r | 回車 |
| \t | 制表符 |
第四步: 調用 awk 提供的函數
| awk -F ‘,’ ‘{print toupper($2)}’ 1.txt | 操作1.txt文件, 根據 逗號 分割, 打印 第一段 第二段 第三段 內容 |
常用函數如下:
| toupper() | upper | 字符 轉成 大寫 |
| tolower() | lower | 字符 轉成小寫 |
| length() | length | 返回 字符長度 |
第五步: if語句 查詢及格的學生信息
| awk -F ‘,’ ‘{if($4>60) print $1, $4 }’ score.txt | 如果及格,就顯示 $1, $4 |
| awk -F ‘,’ ‘{if($4>60) print $1, $4, “及格”; else print $1, $4, “不及格”}’ score.txt | 顯示 姓名, $4, 是否及格 |
選項
| if($0 ~ “aa”) print $0 | 如果這一行包含 “aa”, 就打印這一行內容 |
| if($1 ~ “aa”) print $0 | 如果**第一段 **包含 “aa”, 就打印這一行內容 |
| if($1 == “lisi”) print $0 | 如果第一段 等于 “lisi”, 就打印這一行內容 |
第六步: 段內容 求指定學科平均分
| awk ‘BEGIN{初始化操作}{每行都執行} END{結束時操作}’ 文件名 | BEGIN{ 這里面放的是執行前的語句 } {這里面放的是處理每一行時要執行的語句} END {這里面放的是處理完所有的行后要執行的語句 } |
8.4 小結
-
通過 awk 動作 文件名 更加靈活的解析文件.
-
準備工作
cd /export | rm -rf * vim 1.txt aaa java root bbb hello ccc rt ddd root nologin eee rtt fff ROOT nologin ggg rttt
9 sed
9.1 目標
- 通過 sed 可以實現 過濾 和 替換 的功能.
9.2 路徑
- 第一步: 實現 查詢 功能
- 第二步: 實現 刪除 功能
- 第三步: 實現 修改 功能
- 第四步: 實現 替換 功能
- 第五步: 對 原文件 進行操作
- 第六步: 綜合 練習
9.3 實現
第一步: 實現 查詢 功能
| sed 可選項 目標文件 | 對目標文件 進行 過濾查詢 或 替換 |
可選參數
| p | 打印 | |
| $ | 代表 最后一行 | |
| -n | 僅顯示處理后的結果 | |
| -e | expression | 根據表達式 進行處理 |
-
練習1 列出 1.txt的 3~5行 的數據
-
練習2 列出01.txt的所有數據
-
練習3 列出01.txt的3-5行數據 且 顯示行號
| = | 打印當前行號 |
-
練習4: 查找 1.txt 中包含 root 行
答案：
[root@node01 export]# cat 1.txt aaa java root bbb hello ccc rt ddd root nologin eee rtt fff ROOT nologin ggg rttt[root@node01 export]# cat 1.txt | sed -n -e '/root/p' aaa java root ddd root nologin[root@node01 export]# cat 1.txt | grep root aaa java root ddd root nologin-
練習5 列出01.txt中包含root的內容，root不區分大小寫,并顯示行號
| I | ignore | 忽略大小寫 |
答案：
[root@node01 export]# cat -n 1.txt | sed -n -e '/root/Ip'1 aaa java root4 ddd root nologin6 fff ROOT nologin[root@node01 export]# cat -n 1.txt | grep -i root1 aaa java root4 ddd root nologin6 fff ROOT nologin-
練習6 查找出1.txt中 字母r后面是多個t的行，并顯示行號
| -r | regexp-extended | 識別正則 |
答案：
# 顯示所有 且 顯示行號 [root@node01 export]# cat -n 1.txt 1 aaa java root2 bbb hello3 ccc rt4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt# 搜索匹配的行 [root@node01 export]# cat -n 1.txt | sed -n -r -e '/r+t/p'3 ccc rt5 eee rtt7 ggg rttt第二步: 實現 刪除 功能
-
練習1 刪除01.txt中前3行數據，并顯示行號
| d | delete | 刪除指定內容 |
答案：
# 打印所有內容 且 顯示行號 [root@node01 export]# nl 1.txt 1 aaa java root2 bbb hello3 ccc rt4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt[root@node01 export]# nl 1.txt | sed -e '1,3d'4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt-
練習2 保留1.txt中前3行數據，并顯示行號
答案：
[root@node01 export]# nl 1.txt | sed -e '4,$d'1 aaa java root2 bbb hello3 ccc rt# 顯示前三行內容 [root@node01 export]# head -3 1.txt aaa java root bbb hello ccc rt# 顯示前三行內容 且帶 序號 [root@node01 export]# head -3 1.txt | nl1 aaa java root2 bbb hello3 ccc rt# 顯示所有 [root@node01 export]# nl 1.txt 1 aaa java root2 bbb hello3 ccc rt4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt# 顯示前三行內容 且帶 序號 [root@node01 export]# nl 1.txt | head -31 aaa java root2 bbb hello3 ccc rt第三步: 實現 修改 功能
-
練習1: 在01.txt的第二行 下面 添加aaaaa,并顯示行號
| i | insert | 目標前面 插入內容 |
| a | append | 目標后面 追加內容 |
答案：
[root@node01 export]# nl 1.txt 1 aaa java root2 bbb hello3 ccc rt4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt[root@node01 export]# nl 1.txt | sed -e '2a aaaaaa'1 aaa java root2 bbb hello aaaaaa3 ccc rt4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt-
練習2 在1.txt的第1行前添加bbbbb，并顯示行號
答案：
[root@node01 export]# nl 1.txt 1 aaa java root2 bbb hello3 ccc rt4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt[root@node01 export]# nl 1.txt | sed -e '1i bbbbbbbbb' bbbbbbbbb1 aaa java root2 bbb hello3 ccc rt4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt第四步: 實現 替換 功能
-
練習1 把1.txt中的nologin替換成為huawei,并顯示行號
| s/oldString/newString/ | replace | 替換 |
答案：
[root@node01 export]# nl 1.txt 1 aaa java root2 bbb hello3 ccc rt4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt[root@node01 export]# nl 1.txt | sed -e 's/root/huawei/'1 aaa java huawei2 bbb hello3 ccc rt4 ddd huawei nologin5 eee rtt6 fff ROOT nologin7 ggg rttt-
練習2 把01.txt中的1,2行替換為aaa,并顯示行號
| 2c 新字符串 | replace | 使用新字符串 替換 選中的行 |
答案：
[root@node01 export]# nl 1.txt 1 aaa java root2 bbb hello3 ccc rt4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt[root@node01 export]# nl 1.txt | sed -e '2c aaaa'1 aaa java root aaaa3 ccc rt4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt第五步: 對 原文件 進行操作
-
練習1 在01.txt中把nologin替換為 huawei
| -i | in-place | 替換原有文件內容 |
答案：
# 備份原始文件內容 cp 1.txt 2.txt# 原文件內容 [root@node01 export]# cat 1.txt aaa java root bbb hello ccc rt ddd root nologin eee rtt fff ROOT nologin ggg rttt# 替換 [root@node01 export]# sed -i -e 's/nologin/huawei/' 1.txt # 觀察變化 [root@node01 export]# cat 1.txt aaa java root bbb hello ccc rt ddd root huawei eee rtt fff ROOT huawei ggg rttt-
練習2 在01.txt文件中第2、3行替換為aaaaaa
答案：
# 原文件內容 [root@node01 export]# cat 1.txt aaa java root bbb hello ccc rt ddd root huawei eee rtt fff ROOT huawei ggg rttt# 替換 [root@node01 export]# sed -i -e '2,3c aaaaaaa' 1.txt # 觀察變化 [root@node01 export]# cat 1.txt aaa java root aaaaaaa ddd root huawei eee rtt fff ROOT huawei ggg rttt注意：在進行操作之前，最好是對數據進行備份，放置操作失誤，數據無法恢復！
-
練習3 刪除01.txt中前2行數據，并且刪除原文件中的數據
答案：
# 查看原文件內容 [root@node01 export]# cat 2.txt aaa java root aaaaaaa ddd root huawei eee rtt fff ROOT huawei ggg rttt# 刪除1,2行內容 [root@node01 export]# sed -i -e '1,2d' 2.txt # 查看原文件內容 [root@node01 export]# cat 2.txt ddd root huawei eee rtt fff ROOT huawei ggg rttt第六步: 綜合 練習
-
練習1 獲取ip地址
| ^ | 表示開始 | ^aaa 表示以 aaa 開始 |
| $ | 表示結尾 | bbb$ 表示以 bbb 結尾 |
| .* | 表示任意 | ^.* 表示以 任意字符開始 |
答案：
# 查看網卡信息 [root@node01 export]# ifconfig eth0 eth0 Link encap:Ethernet HWaddr 00:0C:29:DF:0A:6A inet addr:192.168.100.204 Bcast:192.168.100.255 Mask:255.255.255.0inet6 addr: fe80::20c:29ff:fedf:a6a/64 Scope:LinkUP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1RX packets:12999 errors:0 dropped:0 overruns:0 frame:0TX packets:7353 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:1000 RX bytes:1334125 (1.2 MiB) TX bytes:1333707 (1.2 MiB)# 根據關鍵 搜索行 [root@node01 export]# ifconfig eth0 | grep 'inet addr:'inet addr:192.168.100.204 Bcast:192.168.100.255 Mask:255.255.255.0# 去掉ip地址以前的部分 [root@node01 export]# ifconfig eth0 | grep 'inet addr:' | sed -e 's/^.*addr://' 192.168.100.204 Bcast:192.168.100.255 Mask:255.255.255.0# 去掉ip地址以后的部分 [root@node01 export]# ifconfig eth0 | grep 'inet addr:' | sed -e 's/^.*addr://' | sed -e 's/Bcast:.*$//' 192.168.100.204-
練習2 從 2.txt 中提出數據，匹配出包含root的內容，再把nologin替換為itheima
答案：
[root@node01 export]# nl 2.txt 1 aaa java root2 bbb hello3 ccc rt4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt# 匹配含有root內容的行 [root@node01 export]# nl 2.txt | grep root1 aaa java root4 ddd root nologin# 匹配含有root內容的行 且 忽略大小寫 [root@node01 export]# nl 2.txt | grep -i root1 aaa java root4 ddd root nologin6 fff ROOT nologin# 將nologin 替換成 itheima [root@node01 export]# nl 2.txt | grep -i root | sed -e 's/nologin/itheima/' 1 aaa java root4 ddd root itheima6 fff ROOT itheima nl 01.txt | grep 'root' | sed -e 's/nologin/itheima/'或者nl 01.txt | sed -n -e '/root/p' | sed -e 's/nologin/itheima/'或者nl 01.txt | sed -n -e '/root/{s/nologin/itheima/p}' #只顯示替換內容的行-
練習3 從2.txt中提出數據，刪除前2行，并把nologin替換為itheima,并顯示行號
答案：
[root@node01 export]# nl 2.txt 1 aaa java root2 bbb hello3 ccc rt4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt# 刪除前兩行內容 [root@node01 export]# nl 2.txt | sed -e '1,2d'3 ccc rt4 ddd root nologin5 eee rtt6 fff ROOT nologin7 ggg rttt# 替換內容 [root@node01 export]# nl 2.txt | sed -e '1,2d' | sed -e 's/nologin/itheima/'3 ccc rt4 ddd root itheima5 eee rtt6 fff ROOT itheima7 ggg rttt2. Shell 編程
2.1 簡介
Shell 是一個用 C 語言編寫的程序，通過 Shell 用戶可以訪問操作系統內核服務。
Shell 既是一種命令語言，又是一種程序設計語言。
Shell script 是一種為 shell 編寫的腳本程序。Shell 編程一般指 shell腳本編程，不是指開發 shell 自身。
Shell 編程跟 java、php 編程一樣，只要有一個能編寫代碼的文本編輯器和一個能解釋執行的腳本解釋器就可以了。
Linux 的 Shell 解釋器 種類眾多，一個系統可以存在多個 shell解釋器，可以通過 cat /etc/shells 命令查看系統中安裝的 shell解釋器。
Bash 由于易用和免費，在日常工作中被廣泛使用。同時，Bash 也是大多數Linux 系統默認的 Shell。
shell 解釋器
java 需要 虛擬機解釋器, 同理 shell腳本也需要 解析器
[root@node04 shells]# cat /etc/shells /bin/sh /bin/bash /sbin/nologin /bin/dash /bin/tcsh /bin/csh2.2快速入門
1 編寫腳本
新建 /export/01.sh 文件
#!/bin/bashecho 'hello world'#!是一個約定的標記，它告訴系統這個腳本需要什么解釋器來執行，即使用哪一種 Shell。
echo 命令用于向窗口輸出文本。
2 執行shell腳本
-
執行方式一
-
問題: bash 和 sh 是什么關系?
sh 是 bash 的 快捷方式
3.2 執行方式二
方式一的簡化方式
[root@node04 shells]# bash hello.sh hello world[root@node04 shells]# sh hello.sh hello world3.2.1 問題: 請思考 為什么可以省略 /bin/
因為 PATH環境變量中增加了 /bin/目錄, 所以 使用/bin/sh等類似指令時, 可以省略 /bin
3.3 執行方式三
./文件名
[root@node04 shells]# ll 總用量 4 -rw-r--r--. 1 root root 32 3月 14 00:20 01.sh[root@node04 shells]# ./01.sh -bash: ./01.sh: 權限不夠3.3.1 權限不夠怎么辦?
[root@node04 shells]# chmod 755 01.sh[root@node04 shells]# ll 總用量 4 -rwxr-xr-x. 1 root root 32 3月 14 00:20 01.sh# 再次執行: [root@node04 shells]# ./01.sh hello world!2.3 shell變量
1 簡介
在shell腳本中, 定義變量時，變量名不加美元符號（$），如：
your_name=“runoob.com”
注意 : 變量名和等號之間不能有空格，這可能和你熟悉的所有編程語言都不一樣。
同時，變量名的命名須遵循如下規則：
- 命名只能使用英文字母，數字和下劃線，首個字符不能以數字開頭。
- 中間不能有空格，可以使用下劃線（_）。
- 不能使用標點符號。
- 不能使用bash里的關鍵字（可用help命令查看保留關鍵字）。
有效的 Shell 變量名示例如下：
RUNOOB LD_LIBRARY_PATH _var var2無效的變量命名：
?var=123 user*name=runoob除了顯式地直接賦值，還可以用語句給變量賦值，如：
for file in `ls /etc`或
for file in $(ls /etc)以上語句將 /etc 下目錄的文件名循環出來。
?
2 使用變量
使用一個定義過的變量，只要在變量名前面加美元符號即可，如：
your_name="zhangsan"echo $your_nameecho ${your_name}變量名外面的花括號是可選的，加不加都行，加花括號是為了幫助解釋器識別變量的邊界，比如下面這種情況：
for skill in java php python; doecho "I am good at ${skill}Script" done如果不給skill變量加花括號，寫成echo "I am good at skillScript"，解釋器就會把skillScript"，解釋器就會把skillScript"，解釋器就會把skillScript當成一個變量（其值為空），代碼執行結果就不是我們期望的樣子了。
推薦給所有變量加上花括號，這是個好的編程習慣。
已定義的變量，可以被重新定義，如：
your_name="tom" echo $your_name your_name="alibaba" echo $your_name這樣寫是合法的，但注意，第二次賦值的時候不能寫yourname="alibaba"，使用變量的時候才加美元符（your_name="alibaba"，使用變量的時候才加美元符（yourn?ame="alibaba"，使用變量的時候才加美元符（）。
[root@node01 export]# yourname=zhangsan [root@node01 export]# echo $yourname zhangsan [root@node01 export]# echo ${yourname} zhangsan [root@node01 export]# echo "$yourname喜歡吃香蕉" zhangsan喜歡吃香蕉 [root@node01 export]# echo "$yournamelikebanana"[root@node01 export]# echo "${yourname}likebanana" zhangsanlikebanana3 刪除變量
使用 unset 命令可以刪除變量。語法：
unset variable_name變量被刪除后不能再次使用。unset 命令不能刪除只讀變量。
實例
#!/bin/sh myUrl="http://www.runoob.com" unset myUrl echo $myUrl以上實例執行將沒有任何輸出。
4 只讀變量
使用 readonly 命令可以將變量定義為只讀變量，只讀變量的值不能被改變。
下面的例子嘗試更改只讀變量，結果報錯：
#!/bin/bashmyUrl="http://www.google.com" readonly myUrl myUrl="http://www.runoob.com"運行腳本，結果如下：
/bin/sh: NAME: This variable is read only.2.4 字符串
? 字符串是shell編程中最常用最有用的數據類型（除了數字和字符串，也沒啥其它類型好用了），字符串可以用單引號，也可以用雙引號，也可以不用引號。
1 單引號
skill='java'echo '$skill'輸出結果為:
$skill單引號字符串的限制：
- 單引號里的任何字符都會原樣輸出，單引號字符串中的變量是無效的；
- 單引號字串中不能出現單獨一個的單引號（對單引號使用轉義符后也不行），但可成對出現，作為字符串拼接使用。
2 雙引號
skill='java'echo "$skill"輸出結果為：
I am goot at java雙引號的優點：
- 雙引號里可以有變量
- 雙引號里可以出現轉義字符
3 獲取字符串長度
skill='java'echo ${skill} # 輸出結果: javaecho ${#skill} # 輸出結果: 4 [root@node01 export]# echo ${skill} java [root@node01 export]# echo ${#skill} 44 截取子字符串
substring(2)
substring(2,3)
以下實例從字符串第 2 個字符開始截取 4 個字符：
str="I am goot at $skill"echo ${str:2} # 輸出結果為: am goot at javaecho ${str:2:2} # 輸出結果為: am5 查找子字符串
查找字符 i 或 o 的位置(哪個字母先出現就計算哪個)：
str="I am goot at $skill" echo `expr index "$str" am` # 輸出是: 3注意： 以上腳本中 ` 是反引號(Esc下面的)，而不是單引號 '，不要看錯了哦。
2.5 傳遞參數
我們可以在執行 Shell 腳本時，向腳本傳遞參數，腳本內獲取參數的格式為：$n。
n 代表一個數字，1 為執行腳本的第一個參數，2 為執行腳本的第二個參數，以此類推……
實例
以下實例我們向腳本傳遞三個參數，并分別輸出，其中 $0 為執行的文件名：
vim /export/sh/param.sh
#!/bin/bashecho "Shell 傳遞參數實例！";echo "執行的文件名：$0";echo "第一個參數為：$1";echo "第二個參數為：$2";echo "第三個參數為：$3";為腳本設置可執行權限，并執行腳本，輸出結果如下所示：
$ chmod 755 param.sh $ ./param.sh 1 2 3Shell 傳遞參數實例！
執行的文件名：./param.sh第一個參數為：1第二個參數為：2第三個參數為：3另外，還有幾個特殊字符用來處理參數：
| $# | 傳遞到腳本的參數個數 |
| $* | 以一個單字符串顯示所有向腳本傳遞的參數。 如"$*“用「”」括起來的情況、以"$1 $2 … $n"的形式輸出所有參數。 |
| $$ | 腳本運行的當前進程ID號 |
| $! | 后臺運行的最后一個進程的ID號 |
| $@ | 與?相同，但是使用時加引號，并在引號中返回每個參數。如"*相同，但是使用時加引號，并在引號中返回每個參數。 如"?相同，但是使用時加引號，并在引號中返回每個參數。如"@“用「”」括起來的情況、以"$1" “2"…"2" … "2"…"n” 的形式輸出所有參數。 |
| $- | 顯示Shell使用的當前選項，與set命令功能相同。 |
| $? | 顯示最后命令的退出狀態。0表示沒有錯誤，其他任何值表明有錯誤。 |
執行腳本，輸出結果如下所示：
$ chmod +x test.sh $ ./test.sh 1 2 3Shell 傳遞參數實例！第一個參數為：1參數個數為：3傳遞的參數作為一個字符串顯示：1 2 3$* 與 $@ 區別：
- 相同點：都是引用所有參數。
- 不同點：只有在雙引號中體現出來。假設在腳本運行時寫了三個參數 1、2、3，，則 " * " 等價于 “1 2 3”（傳遞了一個參數），而 “@” 等價于 “1” “2” “3”（傳遞了三個參數）。
執行腳本，輸出結果如下所示：
$ chmod +x test.sh $ ./test.sh 1 2 3-- $* 演示 --- 1 2 3-- $@ 演示 --- 1 2 32.6 Shell算術運算符
1 簡介
Shell 和其他編程一樣，支持包括：算術、關系、布爾、字符串等運算符。
原生 bash **不支持 **簡單的數學運算，但是可以通過其他命令來實現，例如expr。
expr 是一款表達式計算工具，使用它能完成表達式的求值操作。
例如，兩個數相加：
val=`expr 2 + 2` echo $vali=2+2
注意：
表達式和運算符之間要有空格，例如 2+2 是不對的，必須寫成 2 + 2。
完整的表達式要被 ` 包含，注意不是單引號，在 Esc 鍵下邊。
下表列出了常用的算術運算符，假定變量 a 為 10，變量 b 為 20：
| + | 加法 | expr $a + $b 結果為 30。 |
| - | 減法 | expr $a - $b 結果為 -10。 |
| * | 乘法 | expr $a \* $b 結果為 200。 |
| / | 除法 | expr $b / $a 結果為 2。 |
| % | 取余 | expr $b % $a 結果為 0。 |
| = | 賦值 | a=$b 將把變量 b 的值賦給 a。 |
| == | 相等。用于比較兩個數字，相同則返回 true。 | [ $a == $b ] 返回 false。 |
| != | 不相等。用于比較兩個數字，不相同則返回 true。 | [ $a != $b ] 返回 true。 |
**注意：**條件表達式要放在方括號之間，并且要有空格，例如: [a==a==a==b] 是錯誤的，必須寫成 [ $a == $b ]。
2 例子
#!/bin/basha=4b=20#加法運算each expr $a + $b#減法運算echo expr $a - $b#乘法運算，注意*號前面需要反斜杠echo expr $a \* $b#除法運算echo $a / $b此外，還可以通過(())、$(())、$[]進行算術運算。((a++))echo "a = $a"c=$((a + b))d=$[a + b]echo "c = $c"echo "d = $d"2.7 流程控制
1 if else
1.1 if
if 語句語法格式：
if condition; thencommand1 command2...commandN fidemo
[root@hadoop01 export]# cat if_test.sh #!/bin/basha=20if [ $a -gt 10 ]; thenecho "a 大于 10" fi末尾的fi就是if倒過來拼寫，后面還會遇到類似的。
1.2 if else
if else 語法格式：
if condition; thencommand1command2...commandN elsecommand fi1.3 if else-if else
if else-if else 語法格式：
if condition1; thencommand1 elif condition2; then command2 elsecommandN fi以下實例判斷兩個變量是否相等：
關系運算符
關系運算符只支持數字，不支持字符串，除非字符串的值是數字。
下表列出了常用的關系運算符，假定變量 a 為 10，變量 b 為 20：
| -eq | 檢測兩個數是否相等，相等返回 true。 | equal | [ $a -eq $b ] 返回 false。 |
| -ne | 檢測兩個數是否不相等，不相等返回 true。 | not equal | [ $a -ne $b ] 返回 true。 |
| -gt | 檢測左邊的數是否大于右邊的，如果是，則返回 true。 | greater than | [ $a -gt $b ] 返回 false。 |
| -lt | 檢測左邊的數是否小于右邊的，如果是，則返回 true。 | less than | [ $a -lt $b ] 返回 true。 |
| -ge | 檢測左邊的數是否大于等于右邊的，如果是，則返回 true。 | Greater than or equal to | [ $a -ge $b ] 返回 false。 |
| -le | 檢測左邊的數是否小于等于右邊的，如果是，則返回 true。 | Less than or equal to | [ $a -le $b ] 返回 true。 |
案例:
[root@hadoop01 export]# cat if_test.sh #!/bin/basha=20 b=10# 需求1: 判斷 a 是否 100 if [ $a > 100 ]; thenecho "$a 大于 100" fi# 需求2: 判斷 a 是否等于 b if [ $a -eq $b ]; thenecho "$a 等于 $b" elseecho "$a 不等于 $b" fi# 需求3: 判斷 a 與 b 比較 if [ $a -lt $b ]; thenecho "$a 小于 $b" elif [ $a -eq $b ]; thenecho "$a 等于 $b" elseecho "$a 大于 $b" fi# 需求4: 判斷 (a + 10) 和 (b * b) 比較大小 if test $[ a + 10 ] -gt $[ b * b ]; thenecho "(a+10) 大于 (b * b)" else echo "(a+10) 小于或等于 (b*b)" fi2 for 循環
2.1 格式
for variable in (list); do commandcommand... done2.2 隨堂練習
# 需求1: 遍歷 1~5 # 需求2: 遍歷 1~100 # 需求3: 遍歷 1~100之間的奇數 # 需求4: 遍歷 根目錄 下的內容代碼如下:
[root@hadoop01 export]# cat for_test.sh #!/bin/bash# 需求1: 遍歷 1~5 for i in 1 2 3 4 5; doecho $i; donefor i in {1..5}; doecho $i donefor(( i=1; i<=5; i++ )); doecho $i done# 需求2: 遍歷 1~100 for i in {1..100}; doecho $i done# 需求3: 遍歷 1~100之間的奇數 for i in {1..100..2}; doecho $i done# 需求4: 遍歷 根目錄 下的內容 for f in `ls /`; doecho $f done3 while 語句
while循環用于不斷執行一系列命令，也用于從輸入文件中讀取數據；命令通常為測試條件。其格式為：
while condition; docommand done需求: 計算 1~100 的和
初始值; i=1
和值: sum=0;
while i<=100;
? sum = sum + i;
? i++;
打印 sum的值
#!/bin/bashsum=0 i=1 while [ $i -le 100 ]; dosum=$[ sum + i]i=$[ i + 1 ] doneecho $sum運行腳本，輸出：
5050使用中使用了 Bash let 命令，它用于執行一個或多個表達式，變量計算中不需要加上 $ 來表示變量，具體可查閱：Bash let 命令。
4 無限循環
無限循環語法格式：
while true; docommand done 需求: 每隔1秒 打印一次當前時間 #!/bin/bashwhile true; dodatesleep 1 done5 case(switch)
Shell case語句為多選擇語句。可以用case語句匹配一個值與一個模式，如果匹配成功，執行相匹配的命令。case語句格式如下：
case 值 in模式1)command1command2...commandN;;模式2）command1command2...commandN;; esaccase工作方式如上所示。取值后面必須為單詞in，每一模式必須以右括號結束。取值可以為變量或常數。匹配發現取值符合某一模式后，其間所有命令開始執行直至 ;;。
取值將檢測匹配的每一個模式。一旦模式匹配，則執行完匹配模式相應命令后不再繼續其他模式。如果無一匹配模式，使用星號 * 捕獲該值，再執行后面的命令。
下面的腳本提示輸入1到4，與每一種模式進行匹配：
echo '輸入 1 到 4 之間的數字:'read aNumcase $aNum in1) echo '你選擇了 1';;2) echo '你選擇了 2';;3) echo '你選擇了 3';;4) echo '你選擇了 4';;*) echo '你沒有輸入 1 到 4 之間的數字';; esac輸入不同的內容，會有不同的結果，例如：
輸入 1 到 4 之間的數字:你輸入的數字為:3你選擇了 3?
6 跳出循環
在循環過程中，有時候需要在未達到循環結束條件時強制跳出循環，Shell使用兩個命令來實現該功能：break和continue。
6.1 break命令
break命令允許跳出所有循環（終止執行后面的所有循環）。
需求: 執行死循環 每隔1秒打印當前時間, 執行10次停止 #!/bin/bash # 需求: 執行死循環 每隔1秒打印當前時間, 執行10次停止 i=0; while true; dosleep 1echo $i `date +"%Y-%m-%d %H:%M:%S"`i=$[ i + 1]if [ $i -eq 10 ]; thenbreakfi done6.2 continue
continue命令與break命令類似，只有一點差別，它不會跳出所有循環，僅僅跳出當前循環。
需求: 打印 1~30, 注意 跳過3的倍數 #!/bin/bash# 需求: 打印 1~30, 注意 跳過3的倍數for i in {1..30}; doif test $[ i % 3 ] -eq 0; thencontinuefiecho $i done2.8 函數使用
1 函數的快速入門
-
格式
[ function ] funname() {action;[return int;] }- 可以帶function fun() 定義，也可以直接fun() 定義,不帶任何參數。
- 參數返回，可以顯示加：return 返回，如果不加，將以最后一條命令運行結果，作為返回值。 return后跟數值n(0-255)
-
快速入門
#!/bin/bashdemoFun () {echo "這是我的第一個 shell 函數!"}echo "-----函數開始執行-----" demoFun echo "-----函數執行完畢-----"
2 傳遞參數給函數
在Shell中，調用函數時可以向其傳遞參數。在函數體內部，通過 $n 的形式來獲取參數的值，例如，$1表示第一個參數，$2表示第二個參數…
帶參數的函數示例：
#!/bin/bashfunWithParam(){echo "第一個參數為 $1 !"echo "第二個參數為 $2 !"echo "第十個參數為 $10 !"echo "第十個參數為 ${10} !"echo "第十一個參數為 ${11} !"echo "參數總數有 $# 個!"echo "作為一個字符串輸出所有參數 $* !" }funWithParam 1 2 3 4 5 6 7 8 9 34 73輸出結果：
第一個參數為 1 !第二個參數為 2 !第十個參數為 10 !第十個參數為 34 !第十一個參數為 73 !參數總數有 11 個!作為一個字符串輸出所有參數 1 2 3 4 5 6 7 8 9 34 73 !注意，10不能獲取第十個參數，獲取第十個參數需要10 不能獲取第十個參數，獲取第十個參數需要10不能獲取第十個參數，獲取第十個參數需要{10}。當n>=10時，需要使用${n}來獲取參數。
另外，還有幾個特殊字符用來處理參數：
| $# | 傳遞到腳本的參數個數 |
| $* | 以一個單字符串顯示所有向腳本傳遞的參數 |
| $$ | 腳本運行的當前進程ID號 |
| $! | 后臺運行的最后一個進程的ID號 |
| $@ | 與$*相同，但是使用時加引號，并在引號中返回每個參數。 |
| $- | 顯示Shell使用的當前選項，與set命令功能相同。 |
| $? | 顯示最后命令的退出狀態。0表示沒有錯誤，其他任何值表明有錯誤。 |
0 1 2
2.9 數組
1 定義數組
數組中可以存放多個值。Bash Shell 只支持一維數組（不支持多維數組），初始化時不需要定義數組大小
與大部分編程語言類似，數組元素的下標由0開始。
Shell 數組用括號來表示，元素用**“空格”**符號分割開，語法格式如下：
array_name=(value1 value2 value3 … valuen)
1.1 實例
#!/bin/bashmy_array=(A B "C" D)我們也可以使用下標來定義數組:array_name[0]=value0array_name[1]=value1array_name[2]=value22 讀取數組
讀取數組元素值的一般格式是：
${array_name[index]}2.1 實例
#!/bin/bashmy_array=(A B "C" D)echo "第一個元素為: ${my_array[0]}"echo "第二個元素為: ${my_array[1]}"echo "第三個元素為: ${my_array[2]}"echo "第四個元素為: ${my_array[3]}"執行腳本，輸出結果如下所示：
$ chmod +x test.sh $ ./test.sh第一個元素為: A 第二個元素為: B 第三個元素為: C 第四個元素為: D2.2 獲取數組中的所有元素
使用@ 或 * 可以獲取數組中的所有元素，例如：
#!/bin/bashmy_array[0]=A my_array[1]=B my_array[2]=C my_array[3]=Decho "數組的元素為: ${my_array[*]}" echo "數組的元素為: ${my_array[@]}"執行腳本，輸出結果如下所示：
$ chmod +x test.sh $ ./test.sh數組的元素為: A B C D 數組的元素為: A B C D2.3 獲取數組的長度
獲取數組長度的方法與獲取字符串長度的方法相同，例如：
#!/bin/bash my_array[0]=A my_array[1]=B my_array[2]=C my_array[3]=Decho "數組元素個數為: ${#my_array[*]}" echo "數組元素個數為: ${#my_array[@]}"執行腳本，輸出結果如下所示：
$ chmod +x test.sh $ ./test.sh數組元素個數為: 4 數組元素個數為: 43 遍歷數組
3.1 方式一
#!/bin/bashmy_arr=(AA BB CC)for var in ${my_arr[*]} doecho $var done3.2 方式二
my_arr=(AA BB CC) my_arr_num=${#my_arr[*]} for((i=0;i<my_arr_num;i++)); doecho "-----------------------------"echo ${my_arr[$i]} done2.10 加載其它文件的變量
1 簡介
和其他語言一樣，Shell 也可以包含外部腳本。這樣可以很方便的封裝一些公用的代碼作為一個獨立的文件。
Shell 文件包含的語法格式如下：
. filename # 注意點號(.)和文件名中間有一空格或source filename2 練習
定義兩個文件 test1.sh和test2.sh，在test1中定義一個變量arr=(java c++ shell),在test2中對arr進行循環打印輸出。
第一步: vim test1.sh
#!/bin/bashmy_arr=(AA BB CC)第二步: vim test2.sh
#!/bin/bashsource ./test1.sh # 加載test1.sh 的文件內容for var in ${my_arr[*]}doecho $vardone第三步: 執行 test2.sh
sh test2.sh好處 :
? 1. 數據源 和 業務處理 分離
? 2. 復用 代碼擴展性更強
總結
- 上一篇： 三维GIS技术应用
- 下一篇： Linux下安装nginx教程