日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

去掉文本中重复的行

發(fā)布時間:2025/4/5 编程问答 19 豆豆
生活随笔 收集整理的這篇文章主要介紹了 去掉文本中重复的行 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

2019獨角獸企業(yè)重金招聘Python工程師標準>>>

??? 今天要分析下 nginx 的日志 統(tǒng)計下訪問的 ip?

一行搞定

對于文本去重復 需要先 sort 再 uniq 因為 uniq 只能去除連續(xù)的重復行

[root@03_25 logs]# awk -F ' '?? '{ print $1 }'? localhost.access.log | sort | uniq
114.147.99.111
114.167.245.194
116.125.127.151
117.136.23.21
153.129.176.90
153.137.41.154
157.109.169.131
。。。。

使用 uniq -c 可以顯示每個 ip 訪問的次數(shù)

[root@03_25 logs]# awk -F ' '?? '{ print $1 }'? localhost.access.log | sort | uniq -c
????? 1 114.147.99.111
?? 2523 114.167.245.194
????? 1 116.125.127.151
????? 8 117.136.23.21
??? 659 153.129.176.90
??? 533 153.137.41.154
????? 2 157.109.169.131
????? 5 157.109.169.132
????? 1 174.142.104.247
????? 6 176.61.139.107
???? 15 183.16.202.45
????? 2 199.15.253.139
????? 1 200.116.127.81
????? 6 210.245.85.163
????? 4 219.133.13.166
???? 97 219.140.174.6
????? 1 221.132.117.51
?? 5741 221.255.120.21
????? 1 42.121.86.216
????? 1 50.30.46.141
?? 5625 59.157.179.141
???? 10 59.40.2.43
????? 6 60.199.223.196
????? 1 61.152.236.132
????? 5 61.183.148.133
????? 3 61.183.148.135
????? 6 65.110.53.90
????? 1 66.193.171.208
????? 2 69.162.122.242
??? 471 69.172.213.166
????? 6 78.129.149.17
????? 1 81.26.32.243
????? 1 82.19.218.37
????? 5 87.106.214.81
????? 1 94.102.51.246

可以看出有2個 ip 訪問的很頻繁。。。


轉載于:https://my.oschina.net/sincoder/blog/112236

《新程序員》:云原生和全面數(shù)字化實踐50位技術專家共同創(chuàng)作,文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的去掉文本中重复的行的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。