Linux 大规模请求服务器连接数相关设置
2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>
一般一個(gè)大規(guī)模Linux服務(wù)器請(qǐng)求數(shù)可能是幾十萬上百萬的情況,需要足夠的連接數(shù)來使用,所以務(wù)必進(jìn)行相應(yīng)的設(shè)置。 默認(rèn)的Linux服務(wù)器文件描述符等打開最大是1024,用ulimit -a 查看: [viewuser@~]$ ulimit -a core file size (blocks, -c) 0 #coredump 文件大小 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 255622 max locked memory (kbytes, -l) 64 max memory size (kbytes, -m) unlimited open files (-n) 1024 #打開文件數(shù)量,root賬戶無限制 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 8192 cpu time (seconds, -t) unlimited max user processes (-u) 4096 #root用戶本項(xiàng)是無限 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited
設(shè)置要求:假設(shè)我們要設(shè)置為200W最大打開文件描述符
cat /proc/sys/fs/nr_open Linux 內(nèi)核 2.6.25 以前,在內(nèi)核里面宏定義是1024*1024,最大只能是100w(1048576),所以不要設(shè)置更大的值,如果Linux內(nèi)核大于 2.6.25 則可以設(shè)置更大值。 設(shè)置方法: sudo bash -c 'echo 2000000 > /proc/sys/fs/nr_open' 注意:只有修改了 nr_open 限制,才能修改下面的限制。
文件位置:/etc/security/limits.conf 查找 nofile ,如果沒有,則在自己最后加上: 2.6.25 及以前內(nèi)核設(shè)置為100W:
- soft nofile 1000000
- hard nofile 1000000
2.6.25 以后版本內(nèi)核可以設(shè)置為200W:
- soft nofile 2000000
- hard nofile 2000000
設(shè)置后保存本文件。(本操作必須重啟才生效,如果無法重啟,會(huì)無法生效,不確定是否使用 /sbin/sysctl -p 是否可以直接生效)
說明:如果你對(duì)進(jìn)程總數(shù)量沒有特殊要求,可以不修改本選項(xiàng),如果你是一個(gè)高性能多進(jìn)程的server,需要很多進(jìn)程來處理,那么可以修改本選項(xiàng)。 ulimit -a 里可以看到 max user processes 如果值是比較大的,可以不用設(shè)置 nproc 項(xiàng)。 配置文件:/etc/security/limits.d/20-nproc.conf (RHEL 7/CentOS 7)
- soft nproc 4096 root soft nproc unlimited
就是root無限(實(shí)際root用戶限制是:255622),其他非root用戶是4096個(gè)進(jìn)程。
說明: 硬限制表明soft限制中所能設(shè)定的最大值。 soft限制指的是當(dāng)前系統(tǒng)生效的設(shè)置值。 hard限制值可以被普通用戶降低。但是不能增加。 soft限制不能設(shè)置的比hard限制更高。 只有root用戶才能夠增加hard限制值。 當(dāng)增加文件限制描述,可以簡(jiǎn)單的把當(dāng)前值雙倍。 例子如下, 如果你要提高默認(rèn)值1024, 最好提高到2048, 如果還要繼續(xù)增加, 就需要設(shè)置成4096。
file-max 價(jià)值:指定了可以分配的文件句柄的最大數(shù)目(可以使用 /proc/sys/fs/file-nr 文件查看到當(dāng)前已經(jīng)使用的文件句柄和總句柄數(shù)。)
(1) 臨時(shí)生效: 文件路徑:/proc/sys/fs/file-max cat /proc/sys/fs/file-max 3252210 如果要修改,直接覆蓋文件:(比如改成200w) sudo echo 2000000 > /proc/sys/fs/file-max 注意:如果你想每次啟動(dòng)都自動(dòng)執(zhí)行上面的命令,可以在系統(tǒng)啟動(dòng)配置文件/etc/rc.local里面添加一句命令:(跟永久生效差不多) echo 2000000 > /proc/sys/fs/file-max 或者直接Shell全搞定: echo "echo 2000000 > /proc/sys/fs/file-max" >> /etc/rc.local (2) 永久生效: 修改配置文件,文件位置:/etc/sysctl.conf 打開配置文件到最末尾,如果配置文件里沒有則可以直接添加: sudo echo "fs.file-max = 2000000" >>/etc/sysctl.conf 配置文件生效:sudo /sbin/sysctl -p
配置文件:/etc/sysctl.conf 修改選項(xiàng): net.core.somaxconn = 2048 net.core.rmem_default = 262144 net.core.wmem_default = 262144 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 net.ipv4.tcp_rmem = 4096 4096 16777216 net.ipv4.tcp_wmem = 4096 4096 16777216 net.ipv4.tcp_mem = 786432 2097152 3145728 net.ipv4.tcp_max_syn_backlog = 16384 net.core.netdev_max_backlog = 20000 net.ipv4.tcp_fin_timeout = 15 net.ipv4.tcp_max_syn_backlog = 16384 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_max_orphans = 131072 配置文件生效:sudo /sbin/sysctl -p
以上選項(xiàng)也可以直接給 /proc/sys/net/ 目錄下面按照各個(gè)選項(xiàng)可以直接使用 echo VALUE > /proc/sys/net/core/wmem_max 來直接修改內(nèi)存臨時(shí)值生效。
主要看這幾項(xiàng): net.ipv4.tcp_rmem 用來配置讀緩沖的大小,三個(gè)值,第一個(gè)是這個(gè)讀緩沖的最小值,第三個(gè)是最大值,中間的是默認(rèn)值。我們可以在程序中修改讀緩沖的大小,但是不能超過最小與最大。為了使每個(gè)socket所使用的內(nèi)存數(shù)最小,我這里設(shè)置默認(rèn)值為4096。 net.ipv4.tcp_wmem 用來配置寫緩沖的大小。讀緩沖與寫緩沖在大小,直接影響到socket在內(nèi)核中內(nèi)存的占用。 net.ipv4.tcp_mem 則是配置tcp的內(nèi)存大小,其單位是頁(yè),而不是字節(jié)。當(dāng)超過第二個(gè)值時(shí),TCP進(jìn)入 pressure模式,此時(shí)TCP嘗試穩(wěn)定其內(nèi)存的使用,當(dāng)小于第一個(gè)值時(shí),就退出pressure模式。當(dāng)內(nèi)存占用超過第三個(gè)值時(shí),TCP就拒絕分配 socket了,查看dmesg,會(huì)打出很多的日志“TCP: too many of orphaned sockets”。 net.ipv4.tcp_max_orphans 這個(gè)值也要設(shè)置一下,這個(gè)值表示系統(tǒng)所能處理不屬于任何進(jìn)程的 socket數(shù)量,當(dāng)我們需要快速建立大量連接時(shí),就需要關(guān)注下這個(gè)值了。當(dāng)不屬于任何進(jìn)程的socket的數(shù)量大于這個(gè)值時(shí),dmesg就會(huì)看 到”too many of orphaned sockets”。
注意:如果是客戶端程序,為了更好的訪問server程序不是卡在端口分配上,建議把客戶端的端口(port_range)范圍開大一些: 修改文件:/etc/sysctl.conf net.ipv4.ip_local_port_range = 1024 65535
配置生效:sudo /sbin/sysctl -p 如果是客戶端,其他文件打開限制等可以參考上面的來設(shè)置。
(1) 打開core文件
如果為了觀察程序是否正常,出現(xiàn)問題后生成相應(yīng)映像文件,可以開啟coredump相關(guān)的操作,可以打開:(非必須,如果線上環(huán)境,擔(dān)心影響穩(wěn)定性,可以考慮不開啟) 配置文件:/etc/security/limits.conf 修改配置文件: 增加:
- soft core 102400
- hard core 2048003
建議設(shè)置為無限大小:
- soft core unlimited
- hard core unlimited 然后重啟機(jī)器生效(不確定是否可以使用 /sbin/sysctl -p 生效),使用: ulimit -a 或 ulimit -c 查看結(jié)果,后續(xù)如果程序出現(xiàn)棧溢出等都會(huì)生成coredump文件,方便用gdb等追查問題原因。
參考URL: http://www.tuicool.com/articles/r6NvQr http://blog.yufeng.info/archives/2568#more-2568 http://heylinux.com/archives/2938.html http://club.1688.com/article/8964198.html http://blog.csdn.net/qxk1989/article/details/7822792 http://blog.csdn.net/unix21/article/details/8743537 http://blog.csdn.net/force_eagle/article/details/6725243 轉(zhuǎn)自黑夜路人微信公眾號(hào)文章http://mp.weixin.qq.com/s?__biz=MjM5MDg2NjIyMA==&mid=207150100&idx=1&sn=92a20b281613d7d8eebd10458aa183be&scene=5#rd
轉(zhuǎn)載于:https://my.oschina.net/weichou/blog/739193
總結(jié)
以上是生活随笔為你收集整理的Linux 大规模请求服务器连接数相关设置的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 策略模式学习三---总结
- 下一篇: linux的nohup命令的用法