11个步骤完美排查Linux机器是否已经被入侵
隨著開源產品的越來越盛行,作為一個Linux運維工程師,能夠清晰地鑒別異常機器是否已經被入侵了
顯得至關重要,個人結合自己的工作經歷,整理了幾種常見的機器被黑情況供參考
?
背景信息:以下情況是在CentOS 6.9的系統中查看的,其它Linux發行版類似
?
1、入侵者可能會刪除機器的日志信息,可以查看日志信息是否還存在或者是否被清空,相關命令示例:
[root@hlmcen69n3 ~]# ll -h /var/log/* -rw-------. 1 root root 2.6K Jul 7 18:31 /var/log/anaconda.ifcfg.log -rw-------. 1 root root 23K Jul 7 18:31 /var/log/anaconda.log -rw-------. 1 root root 26K Jul 7 18:31 /var/log/anaconda.program.log -rw-------. 1 root root 63K Jul 7 18:31 /var/log/anaconda.storage.log[root@hlmcen69n3 ~]# du -sh /var/log/* 8.0K /var/log/anaconda 4.0K /var/log/anaconda.ifcfg.log 24K /var/log/anaconda.log 28K /var/log/anaconda.program.log 64K /var/log/anaconda.storage.log2、入侵者可能創建一個新的存放用戶名及密碼文件,可以查看/etc/passwd及/etc/shadow文件,相關命令示例:
[root@hlmcen69n3 ~]# ll /etc/pass*-rw-r--r--. 1 root root 1373 Sep 15 11:36 /etc/passwd-rw-r--r--. 1 root root 1373 Sep 15 11:36 /etc/passwd-[root@hlmcen69n3 ~]# ll /etc/sha*----------. 1 root root 816 Sep 15 11:36 /etc/shadow----------. 1 root root 718 Sep 15 11:36 /etc/shadow-3、入侵者可能修改用戶名及密碼文件,可以查看/etc/passwd及/etc/shadow文件內容進行鑒別,相關命令示例:
[root@hlmcen69n3 ~]# more /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin[root@hlmcen69n3 ~]# more /etc/shadow root:*LOCK*:14600:::::: bin:*:17246:0:99999:7::: daemon:*:17246:0:99999:7:::4、查看機器最近成功登錄的事件和最后一次不成功的登錄事件,對應日志"/var/og/lastlog",相關命令示例:
[root@hlmcen69n3 ~]# lastlog Username Port From Latest root **Never logged in** bin **Never logged in** daemon **Never logged in**5、查看機器當前登錄的全部用戶,對應日志文件"/var/run/utmp",相關命令示例:
[root@hlmcen69n3 ~]# who stone pts/0 2017-09-20 16:17 (X.X.X.X) test01 pts/2 2017-09-20 16:47 (X.X.X.X)6、查看機器創建以來登錄過的用戶,對應日志文件"/var/log/wtmp",相關命令示例:
[root@hlmcen69n3 ~]# lasttest01 pts/1 X.X.X.X Wed Sep 20 16:50 still logged in test01 pts/2 X.X.X.X Wed Sep 20 16:47 - 16:49 (00:02) stone pts/1 X.X.X.X Wed Sep 20 16:46 - 16:47 (00:01) stone pts/0 X.X.X.X Wed Sep 20 16:17 still logged in7、查看機器所有用戶的連接時間(小時),對應文件日志"/var/log/wtmp",相關命令示例:
[root@hlmcen69n3 ~]# ac -dpstone 11.98 Sep 15 total 11.98stone 67.06 Sep 18 total 67.06stone 1.27test01 0.24 Today total 1.508、如果發現機器產生了異常流量,可以使用命令"tcpdump"抓取網絡包查看流量情況或者使用工具"iperf"查看流量情況
9、可以查看/var/log/secure日志文件,嘗試發現入侵者的信息,相關命令示例:
[root@hlmcen69n3 ~]# cat /var/log/secure | grep -i "accepted password"Sep 20 12:47:20 hlmcen69n3 sshd[37193]: Accepted password for stone from X.X.X.X port 15898 ssh2Sep 20 16:17:47 hlmcen69n3 sshd[38206]: Accepted password for stone from X.X.X.X port 9140 ssh2Sep 20 16:46:00 hlmcen69n3 sshd[38511]: Accepted password for stone from X.X.X.X port 2540 ssh2Sep 20 16:47:16 hlmcen69n3 sshd[38605]: Accepted password for test01 from X.X.X.X port 10790 ssh2Sep 20 16:50:04 hlmcen69n3 sshd[38652]: Accepted password for test01 from X.X.X.X port 28956 ssh210、查詢異常進程所對應的執行腳本文件
a.top命令查看異常進程對應的PID
b、在虛擬文件系統目錄查找該進程的可執行文件
[root@hlmcen69n3 ~]# ll /proc/1850/ | grep -i exe lrwxrwxrwx. 1 root root 0 Sep 15 12:31 exe -> /usr/bin/python[root@hlmcen69n3 ~]# ll /usr/bin/python -rwxr-xr-x. 2 root root 9032 Aug 18 2016 /usr/bin/python11、如果確認機器已經被入侵,重要文件已經被刪除,可以嘗試找回被刪除的文件。
Note:
參考Link:http://www.cnblogs.com/ggjucheng/archive/2012/01/08/2316599.html
?
1>當進程打開了某個文件時,只要該進程保持打開該文件,即使將其刪除,它依然存在于磁盤中。這意味著,進程并不知道文件已經被刪除,它仍然可以向打開該文件時提供給它的文件描述符進行讀取和寫入。除了該進程之外,這個文件時不可見的,因為已經刪除了其相應的目錄索引節點。
2>在/proc目錄下,其中包含了反映內核和進程樹的各種文件。/proc目錄掛載的是在內存中所映射的一塊區域,所以這些文件和目錄并不存在于磁盤中,因此當我們對這些文件進行讀取和寫入時,實際上是在從內存中獲取相關信息。大多數與lsof相關的信息都存儲于以進程的PID命名的目錄中,即/proc/1234中包含的是PID為1234的進程的信息。每個進程目錄中存在著各種文件,它們可以使得應用程序簡單地了解進程的內存空間、文件描述列表、指向磁盤上的文件的符號鏈接和其他系統信息。lsof程序使用該信息和其他關于內核內部狀態的信息來產生其輸出。所以lsof可以顯示進程的文件描述符和相關的文件名等信息。也就是我們通過訪問進程的文件描述符可以找到該文件的相關信息。
3>當系統中的某個文件被意外地刪除了,只要這個時候系統中還有進程正在訪問該文件,那么我們就可以通過lsof從/proc目錄下恢復該文件的內容。
?
假設入侵者將/var/log/secure文件刪除掉了,嘗試將/var/log/secure文件恢復的方法可以參考如下:
a.查看/var/log/secure文件,發現已經沒有該文件
?
[root@hlmcen69n3?~]#?ll?/var/log/securels:?cannot?access?/var/log/secure:?No?such?file?or?directory?
?b.使用lsof命令查看當前是否有進程打開/var/log/secure,
?
[root@hlmcen69n3?~]#?lsof?|?grep?/var/log/secure rsyslogd???1264??????root????4w??????REG???????????????? 8,1??3173904?????263917?/var/log/secure?(deleted)?
c.從上面的信息可以看到 PID 1264(rsyslogd)打開文件的文件描述符為4。同時還可以看到/var/log/ secure已經標記為被刪除了。因此我們可以在/proc/1264/fd/4(fd下的每個以數字命名的文件表示進程對應的文件描述符)中查看相應的信息,如下:
?
[root@hlmcen69n3?~]#?tail?/proc/1264/fd/4 Sep?20?16:47:21?hlmcen69n3?sshd[38511]:?pam_unix(sshd:session):?session?closed?for?user?stone Sep?20?16:47:21?hlmcen69n3?su:?pam_unix(su-l:session):?session?closed?for?user?root Sep?20?16:49:30?hlmcen69n3?sshd[38605]:?pam_unix(sshd:session):?session?closed?for?user?test01 Sep?20?16:50:04?hlmcen69n3?sshd[38652]:?reverse?mapping?checking?getaddrinfo?for?190.78.120.106.static.bjtelecom.net?[106.120.78.190]?failed?-?POSSIBLE?BREAK-IN?ATTEMPT! Sep?20?16:50:04?hlmcen69n3?sshd[38652]:?Accepted?password?for?test01?from?106.120.78.190?port?28956?ssh2 Sep?20?16:50:05?hlmcen69n3?sshd[38652]:?pam_unix(sshd:session):?session?opened?for?user?test01?by?(uid=0) Sep?20?17:18:51?hlmcen69n3?unix_chkpwd[38793]:?password?check?failed?for?user?(root) Sep?20?17:18:51?hlmcen69n3?sshd[38789]:?pam_unix(sshd:auth):?authentication?failure;?logname=?uid=0?euid=0?tty=ssh?ruser=?rhost=51.15.81.90??user=root Sep?20?17:18:52?hlmcen69n3?sshd[38789]:?Failed?password?for?root?from?51.15.81.90?port?47014?ssh2 Sep?20?17:18:52?hlmcen69n3?sshd[38790]:?Connection?closed?by?51.15.81.90?
d.從上面的信息可以看出,查看/proc/1264/fd/4就可以得到所要恢復的數據。如果可以通過文件描述符查看相應的數據,那么就可以使用I/O重定向將其重定向到文件中,如:
?
[root@hlmcen69n3?~]#?cat?/proc/1264/fd/4?>?/var/log/secure?
e.再次查看/var/log/secure,發現該文件已經存在。對于許多應用程序,尤其是日志文件和數據庫,這種恢復刪除文件的方法非常有用。
?
[root@hlmcen69n3?~]#?ll?/var/log/secure -rw-r--r--.?1?root?root?3173904?Sep?20?17:24?/var/log/secure[root@hlmcen69n3?~]#?head?/var/log/secure Sep?17?03:28:15?hlmcen69n3?sshd[13288]:?reverse?mapping?checking?getaddrinfo?for?137-64-15-51.rev.cloud.scaleway.com?[51.15.64.137]?failed?-?POSSIBLE?BREAK-IN?ATTEMPT! Sep?17?03:28:15?hlmcen69n3?unix_chkpwd[13290]:?password?check?failed?for?user?(root) Sep?17?03:28:15?hlmcen69n3?sshd[13288]:?pam_unix(sshd:auth):?authentication?failure;?logname=?uid=0?euid=0?tty=ssh?ruser=?rhost=51.15.64.137??user=root Sep?17?03:28:17?hlmcen69n3?sshd[13288]:?Failed?password?for?root?from?51.15.64.137?port?59498?ssh2 Sep?17?03:28:18?hlmcen69n3?sshd[13289]:?Received?disconnect?from?51.15.64.137:?11:?Bye?Bye Sep?17?03:28:22?hlmcen69n3?sshd[13291]:?reverse?mapping?checking?getaddrinfo?for?137-64-15-51.rev.cloud.scaleway.com?[51.15.64.137]?failed?-?POSSIBLE?BREAK-IN?ATTEMPT! Sep?17?03:28:22?hlmcen69n3?unix_chkpwd[13293]:?password?check?failed?for?user?(root) Sep?17?03:28:22?hlmcen69n3?sshd[13291]:?pam_unix(sshd:auth):?authentication?failure;?logname=?uid=0?euid=0?tty=ssh?ruser=?rhost=51.15.64.137??user=root Sep?17?03:28:24?hlmcen69n3?sshd[13291]:?Failed?password?for?root?from?51.15.64.137?port?37722?ssh2 Sep?17?03:28:25?hlmcen69n3?sshd[13292]:?Received?disconnect?from?51.15.64.137:?11:?Bye?Bye 創作挑戰賽新人創作獎勵來咯,堅持創作打卡瓜分現金大獎總結
以上是生活随笔為你收集整理的11个步骤完美排查Linux机器是否已经被入侵的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 记一次曲折的后台getshell过程
- 下一篇: 开源API网关Kong基本介绍和安装验证