原文首發(fā)于博客園，作者：后青春期的Keats

地址：https://www.cnblogs.com/keatsCoder/

Linux 配置優(yōu)化

我們在使用?Redis?過程中，可能更多的關(guān)注?Redis?本身的一些配置優(yōu)化，如 AOF、RDB 配置、數(shù)據(jù)結(jié)構(gòu)配置優(yōu)化等。

但是很少關(guān)心?Redis?的載體，服務(wù)器的優(yōu)化。而這往往為我們的項目運行帶來災(zāi)難性的打擊。因此服務(wù)器優(yōu)化也是必不可少的。

內(nèi)存分配控制

Redis?啟動時，可能會出現(xiàn)下面的日志

#?WARNING?overcommit_memory?is?set?to?0!?Background?save?may?fail?under?low?memory?condition.?To?fix?this?issue?add?'vm.overcommit\_memory?=?1'?to?/etc/sysctl.conf?and?then?reboot?or?run?the?command?'sysctl?vm.overcommit_memory=1'?for?this?to?take?effect.

overcommit 是 Linux 的一種內(nèi)存處理機(jī)制：Linux 對絕大多數(shù)內(nèi)存申請都會回復(fù) yes，以便運行更多的程序。因為申請內(nèi)存后，并不會馬上使用內(nèi)存。這種機(jī)制就是 overcommit 。

而 overcommit_memory 是用來設(shè)置內(nèi)存分配策略的，有三種取值

值含義

0	內(nèi)核檢查是否有足夠可用內(nèi)存，有則通過。沒有則申請失敗，并返回錯誤給進(jìn)程
1	表示內(nèi)核允許超量使用內(nèi)存直到用完為止
2	表示內(nèi)核絕不過量的使用內(nèi)存

日志中 Background save 指的是 bgsave 和 bgrewriteaof 。根據(jù)操作系統(tǒng)的配置，如果 overcommit_memory 設(shè)置為 0 則可能會造成內(nèi)存申請失敗而導(dǎo)致后臺持久化失敗。

因此?Redis?建議將這個值設(shè)置為 1 是為了 fork 操作在低內(nèi)存下也能執(zhí)行成功。

設(shè)置方法

通過命令修改，立即生效。重啟后會失效

sysctl?vm.overcommit_memory=1

再將改動寫入系統(tǒng)配置文件，使其永久有效

echo?"vm.overcommit_memory=1"?>>?/etc/sysctl.conf

建議

采用?Redis?建議的配置是為了在極端情況下 Linux 可以擠出來一些內(nèi)存供?Redis?備份，但是更建議優(yōu)先配置好 maxmemory ，給機(jī)器留 20%~30% 的空閑內(nèi)存。

硬盤虛擬內(nèi)存

swap 是指當(dāng)物理內(nèi)存不足時，拿出部分硬盤空間當(dāng) SWAP 分區(qū)（虛擬成內(nèi)存）使用。我們都知道硬盤的讀寫速度相對于內(nèi)存實在是太雞肋，對于高并發(fā)、高吞吐的應(yīng)用來說，磁盤IO通長會成為系統(tǒng)瓶頸。Linux 系統(tǒng)中 swappiness 的值控制操作系統(tǒng)使用 swap 的傾向程度。

查看內(nèi)核版本：

uname?-sr 值說明

0	內(nèi)核版本 3.5 及以上 寧愿使用 OOM Killer 也不使用 SWAP；內(nèi)核版本 3.4 及更早則反之
1	內(nèi)核版本 3.5 及以上 寧愿使用 OOM Killer 也不使用 SWAP
60	默認(rèn)值
?	主動使用 SWAP

PS：OOM Killer 是指當(dāng) Linux 發(fā)現(xiàn)操作系統(tǒng)內(nèi)存不足時，主動殺死一些非內(nèi)核進(jìn)程的操作

設(shè)置方法

echo {value} > /proc/sys/vm/swappiness

echo vm.swappiness={value} >> etc/sysctl.conf

監(jiān)控swap

查看 Swap 的總體情況

free?-m

?

最后一行即展示了 Swap 的使用情況，一共 2047 Mb，以使用 0 Mb，空閑 2047 Mb

實時查看 Swap 的使用

參數(shù) si 表示 swap in ，so 表示 swap out 在我的機(jī)器上都是 0 表示沒有使用交換

查看指定進(jìn)程的 Swap 情況

通過 ps -ef |grep redis 查看?Redis??進(jìn)程號，例如 1621

通過 cat /proc/1621/smaps | grep Swap 命令查看每個內(nèi)存塊 Redis Swap 的使用情況

THP 內(nèi)存頁大小

Redis?啟動時可能會看到下面的日志

WARNING?you?have?Transparent?Huge?Pages?(THP)?support?enabled?in?your?kernel.?This?will?create?latency?and?memory?usage?issues?with?Redis.?To?fix?this?issue?run?the?command?'echo?never?>?/sys/kernel/mm/transparent_hugepage/enabled'?as?root,?and?add?it?to?your?/etc/rc.local?in?order?to?retain?the?setting?after?a?reboot.?Redis?must?be?restarted?after?THP?is?disabled.

提示告訴我們建議修改 Transparent Huge Pages (THP) 的配置，Linux kernel 在 2.6.38 內(nèi)核增加了 THP 特性，支持大內(nèi)存頁(2MB)分配，默認(rèn)開啟。

開啟后可加快 fork 子進(jìn)程的速度，但是 fork 操作后，每個內(nèi)存頁從原來的 4KB 變?yōu)?2MB，會大幅加重重寫期間父進(jìn)程內(nèi)存消耗。

同時每次寫命令引起的復(fù)制內(nèi)存頁單位放大了512倍。會拖慢寫操作的執(zhí)行時間。造成大量的寫操作慢查詢因此?Redis?日志中建議禁用它。另外關(guān)注Java技術(shù)棧公眾號在后臺回復(fù)面試可以獲取一份面試題大全。

方法如下：

echo?never?>?/sys/kernel/mm/transparent_hugepage/enabled

另外在 /etc/rc.local 中追加

echo?never?>?/sys/kernel/mm/transparent_hugepage/enabled

對于某些發(fā)行版本(例如紅帽6以上)配置文件不在這個位置(在 /sys/kernel/mm/redhat_transparent_hugepage/enabled)，但是?Redis?檢查 THP 是寫死的此位置，所以雖然這么修改后?Redis?不報警然而實際是沒有作用的，需要注意。應(yīng)該改動對應(yīng)位置的值

使用NTP 同步時間

在集群或哨兵環(huán)境中，多臺服務(wù)器使用相同的網(wǎng)絡(luò)時間協(xié)議同步時間能更方便的閱讀日志，排查問題

可以設(shè)置定時任務(wù)同步時間

crontab?-u?//設(shè)定某個用戶的cron服務(wù) crontab?-l?//列出某個用戶cron服務(wù)的詳細(xì)內(nèi)容 crontab?-r?//刪除某個用戶的cron服務(wù) crontab?-e?//編輯某個用戶的cron服務(wù) crontab?-i?//打印提示，輸入yes等確認(rèn)信息

添加每小時執(zhí)行一次的任務(wù)

0?*?*?*?*?/usr/sbin/ntpdate?cn.pool.ntp.org?>?dev/null?2>&1

最大連接數(shù)限制

通過 ulimit -a 命令查看和設(shè)置當(dāng)前用戶進(jìn)程的資源數(shù)，其中包含 open files 參數(shù)，是單個用戶同時打開的最大文件描述符個數(shù)。雖然?Redis?中可以配置最大的客戶端連接數(shù)(默認(rèn) 10000) 。

Redis?內(nèi)部最多使用 32 個文件描述符。當(dāng) open files = 4096 時，Redis 最大提供 4096-32=4064 個連接。因為它不能突破操作系統(tǒng)的限制。如果需要，使用如下命令修改：

ulimit?-Sn?{max-open-files}

TCP backlog

tcp backlog 配置的是 tcp 握手時候的隊列大小。如果該值過小。會導(dǎo)致高并發(fā)場景下部分連接第三次握手ACK被丟棄。關(guān)于 backlog

The?TCP?backlog?setting?of?511?cannot?be?enforced?because?/proc/sys/net/core/somaxconn?is?set?to?the?lower?value?of?128.

Redis?啟動時，會告訴我們系統(tǒng)配置中該值是 128，而 Redis 511。這個 511 是沒用的，因為系統(tǒng)比這個小。需要修改系統(tǒng) backlog 的值。

echo?511?>?/proc/sys/net/core/somaxconn

參考文獻(xiàn)：

《Redis開發(fā)與運維》 --- 付 磊 張益軍

《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的Redis 开发陷阱及避坑指南！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。