linux系統(tǒng)層面調(diào)優(yōu)和常見的面試題?mp.weixin.qq.com

無論對Spark集群，還是Hadoop集群等大數(shù)據(jù)相關的集群進行調(diào)優(yōu)，對linux系統(tǒng)層面的調(diào)優(yōu)都是必不可少的，這里主要介紹3種常用的調(diào)優(yōu)：

1.linux文件句柄

linux在整個系統(tǒng)層面和單個進程兩個層面對打開的文件句柄進行限制。

配置文件/proc/sys/fs/file-max是對整個系統(tǒng)層面對打開的文件句柄最大數(shù)進行控制，單個用戶或進程能夠打開的文件句柄數(shù)受此限制。

通過ulimit -a查看當前用戶或進程能夠打開的最大文件數(shù)：

上述只是默認值，在實際生產(chǎn)環(huán)境肯定是不夠用的，如果配置過小，有時會報類似can't open so many files的錯誤。通過ulimit -n可以對該值進行臨時修改。如果想永久生效，需要修改配置文件/etc/security/limits.conf，如soft nofile 10000、hard nofile 10000追加到配置文件中。

2.單個用戶最大進程數(shù)上圖中max user processes就是單個用戶最大進程數(shù)的限制，通過ulimit -u可以臨時修改。永久修改需要追加，如soft nproc 10000、hard nproc 10000到/etc/security/limits.conf文件中

3.swap分區(qū)又被稱為交換分區(qū)，占用的是磁盤空間。操作系統(tǒng)可以將一部分數(shù)據(jù)存于swap分區(qū)中，從而為當前運行的程序騰出足夠的內(nèi)存空間。但因為數(shù)據(jù)存于磁盤，性能會相對內(nèi)存低，尤其是讀寫頻繁的情緒，IO消耗會更大。合理設置swap分區(qū)大小，比如設置為0，優(yōu)先使用物理內(nèi)存。設置方式echo vm.swappiness=0 >> /etc/sysctl.conf。

針對不同系統(tǒng)、用戶需要修改的文件可能有所不同，比如對于普通用戶最大打開進程限制配置文件/etc/security/limits.d/20-nproc.conf。

除了上述常見的3種調(diào)優(yōu)，還有控制每個端口監(jiān)聽隊列的最大長度等調(diào)優(yōu)方式，這里不再贅述。

關于軟限制和硬限制的補充：

上文中，soft是軟限制，hard是硬限制。

軟限制（soft limit）：內(nèi)核實際執(zhí)行的限制，任何進程都可以將軟限制設置為小于或等于對進程限制的硬限制的值、最大線程數(shù)和文件數(shù)。

硬限制（hard limit）：可以在任何時候任何進程中設置，但硬限制需要由超級用戶修改。

linux常見面試題

1.linux系統(tǒng)中獲取pid為100的進程所監(jiān)聽的tcp端口號

netstat -npta | grep 100

2.查找/home目錄下大小為10k的文件

find /home -size 10K

3.在當前目錄中的Main.java中關鍵字keywords出現(xiàn)位置，并將結(jié)果追加到main.txt中find . -name Main.java | xargs grep -n "keywords" >> main.txt

【xargs將前一個命令的輸出作為后一個命令的參數(shù)】

4.壓縮文件夾testDir為testDir.tar.gz

tar -zcvf testDir.tar.gz testDir/

5.解壓縮文件testDir.tar.gz到路徑/home/user中

tar -zxvf testDir.tar.gz -C /home/user

6.查看磁盤使用情況

df -h

7.查看內(nèi)存使用情況

free -mt

8.改變當前路徑下testDir及其下面所有文件和目錄的所有者為tom，組為group-t

chown -R tom:group-t ./testDir

9.賦予testDir權(quán)限為rwxr-xr-x

chmod 755 testDir

10.查看文件app.log，從第3000行開始，顯示1000行，即顯示3000-3999行

cat app.log | tail -n +3000 | head -n 1000

11.查看文件app.log，顯示1000行到3000行

cat app.log | head -n 3000 | tail -n +1000

12.統(tǒng)計當前文件夾下的app目錄下，js文件數(shù)量ll ./app | grep "^-" | grep js | wc -l

^-：正則表達式，匹配文件

閱讀原文

總結(jié)

以上是生活随笔為你收集整理的linux修改文件句柄数生效_linux系统层面调优和常见的面试题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。