java copy-on-write_COW奶牛！Copy On Write机制了解一下
前言
只有光頭才能變強
在讀《Redis設(shè)計與實現(xiàn)》關(guān)于哈希表擴容的時候，發(fā)現(xiàn)這么一段話：
執(zhí)行BGSAVE命令或者BGREWRITEAOF命令的過程中，Redis需要創(chuàng)建當(dāng)前服務(wù)器進程的子進程，而大多數(shù)操作系統(tǒng)都采用寫時復(fù)制(copy-on-write)來優(yōu)化子進程的使用效率，所以在子進程存在期間，服務(wù)器會提高負載因子的閾值，從而避免在子進程存在期間進行哈希表擴展操作，避免不必要的內(nèi)存寫入操作，最大限度地節(jié)約內(nèi)存。
觸及到知識的盲區(qū)了，于是就去搜了一下copy-on-write寫時復(fù)制這個技術(shù)究竟是怎么樣的。發(fā)現(xiàn)涉及的東西蠻多的，也挺難讀懂的。于是就寫下這篇筆記來記錄一下我學(xué)習(xí)copy-on-write的過程。
本文力求簡單講清copy-on-write這個知識點，希望大家看完能有所收獲。
一、Linux下的copy-on-write
在說明Linux下的copy-on-write機制前，我們首先要知道兩個函數(shù)：fork()和exec()。需要注意的是exec()并不是一個特定的函數(shù), 它是一組函數(shù)的統(tǒng)稱, 它包括了execl()、execlp()、execv()、execle()、execve()、execvp()。
1.1簡單來用用fork
首先我們來看一下fork()函數(shù)是什么鬼：
fork is an operation whereby a process creates a copy of itself.
fork是類Unix操作系統(tǒng)上創(chuàng)建進程的主要方法。fork用于創(chuàng)建子進
程(等同于當(dāng)前進程的副本)。
新的進程要通過老的進程復(fù)制自身得到，這就是fork！
如果接觸過Linux，我們會知道Linux下init進程是所有進程的爹(相當(dāng)于Java中的Object對象)
Linux的進程都通過init進程或init的子進程fork(vfork)出來的。
下面以例子說明一下fork吧：
#include
#include
int main ()
{
pid_t fpid; //fpid表示fork函數(shù)返回的值
int count=0;
// 調(diào)用fork，創(chuàng)建出子進程
fpid=fork();
// 所以下面的代碼有兩個進程執(zhí)行！
if (fpid < 0)
printf("創(chuàng)建進程失敗!/n");
else if (fpid == 0) {
printf("我是子進程，由父進程fork出來/n");
count++;
}
else {
printf("我是父進程/n");
count++;
}
printf("統(tǒng)計結(jié)果是: %d/n",count);
return 0;
}
得到的結(jié)果輸出為：
我是子進程，由父進程fork出來
統(tǒng)計結(jié)果是: 1
我是父進程
統(tǒng)計結(jié)果是: 1
解釋一下：
fork作為一個函數(shù)被調(diào)用。這個函數(shù)會有兩次返回，將子進程的PID返回給父進程，0返回給子進程。(如果小于0，則說明創(chuàng)建子進程失敗)。
再次說明：當(dāng)前進程調(diào)用fork()，會創(chuàng)建一個跟當(dāng)前進程完全相同的子進程(除了pid)，所以子進程同樣是會執(zhí)行fork()之后的代碼。
所以說：
父進程在執(zhí)行if代碼塊的時候，fpid變量的值是子進程的pid
子進程在執(zhí)行if代碼塊的時候，fpid變量的值是0
1.2再來看看exec()函數(shù)
從上面我們已經(jīng)知道了fork會創(chuàng)建一個子進程。子進程的是父進程的副本。
exec函數(shù)的作用就是：裝載一個新的程序(可執(zhí)行映像)覆蓋當(dāng)前進程內(nèi)存空間中的映像，從而執(zhí)行不同的任務(wù)。
exec系列函數(shù)在執(zhí)行時會直接替換掉當(dāng)前進程的地址空間。
我去畫張圖來理解一下：
exec函數(shù)的作用
參考資料：
fork()會產(chǎn)生一個和父進程完全相同的子進程(除了pid)
如果按傳統(tǒng)的做法，會直接將父進程的數(shù)據(jù)拷貝到子進程中，拷貝完之后，父進程和子進程之間的數(shù)據(jù)段和堆棧是相互獨立的。
父進程的數(shù)據(jù)拷貝到子進程中
但是，以我們的使用經(jīng)驗來說：往往子進程都會執(zhí)行exec()來做自己想要實現(xiàn)的功能。
所以，如果按照上面的做法的話，創(chuàng)建子進程時復(fù)制過去的數(shù)據(jù)是沒用的(因為子進程執(zhí)行exec()，原有的數(shù)據(jù)會被清空)
既然很多時候復(fù)制給子進程的數(shù)據(jù)是無效的，于是就有了Copy On Write這項技術(shù)了，原理也很簡單：
fork創(chuàng)建出的子進程，與父進程共享內(nèi)存空間。也就是說，如果子進程不對內(nèi)存空間進行寫入操作的話，內(nèi)存空間中的數(shù)據(jù)并不會復(fù)制給子進程，這樣創(chuàng)建子進程的速度就很快了！(不用復(fù)制，直接引用父進程的物理空間)。
并且如果在fork函數(shù)返回之后，子進程第一時間exec一個新的可執(zhí)行映像，那么也不會浪費時間和內(nèi)存空間了。
另外的表達方式：
在fork之后exec之前兩個進程用的是相同的物理空間(內(nèi)存區(qū))，子進程的代碼段、數(shù)據(jù)段、堆棧都是指向父進程的物理空間，也就是說，兩者的虛擬空間不同，但其對應(yīng)的物理空間是同一個。
當(dāng)父子進程中有更改相應(yīng)段的行為發(fā)生時，再為子進程相應(yīng)的段分配物理空間。
如果不是因為exec，內(nèi)核會給子進程的數(shù)據(jù)段、堆棧段分配相應(yīng)的物理空間(至此兩者有各自的進程空間，互不影響)，而代碼段繼續(xù)共享父進程的物理空間(兩者的代碼完全相同)。
而如果是因為exec，由于兩者執(zhí)行的代碼不同，子進程的代碼段也會分配單獨的物理空間。
Copy On Write技術(shù)實現(xiàn)原理：
fork()之后，kernel把父進程中所有的內(nèi)存頁的權(quán)限都設(shè)為read-only，然后子進程的地址空間指向父進程。當(dāng)父子進程都只讀內(nèi)存時，相安無事。當(dāng)其中某個進程寫內(nèi)存時，CPU硬件檢測到內(nèi)存頁是read-only的，于是觸發(fā)頁異常中斷(page-fault)，陷入kernel的一個中斷例程。中斷例程中，kernel就會把觸發(fā)的異常的頁復(fù)制一份，于是父子進程各自持有獨立的一份。
Copy On Write技術(shù)好處是什么？
COW技術(shù)可減少分配和復(fù)制大量資源時帶來的瞬間延時。
COW技術(shù)可減少不必要的資源分配。比如fork進程時，并不是所有的頁面都需要復(fù)制，父進程的代碼段和只讀數(shù)據(jù)段都不被允許修改，所以無需復(fù)制。
Copy On Write技術(shù)缺點是什么？
如果在fork()之后，父子進程都還需要繼續(xù)進行寫操作，那么會產(chǎn)生大量的分頁錯誤(頁異常中斷page-fault)，這樣就得不償失。
幾句話總結(jié)Linux的Copy On Write技術(shù)：
fork出的子進程共享父進程的物理空間，當(dāng)父子進程有內(nèi)存寫入操作時，read-only內(nèi)存頁發(fā)生中斷，將觸發(fā)的異常的內(nèi)存頁復(fù)制一份(其余的頁還是共享父進程的)。
fork出的子進程功能實現(xiàn)和父進程是一樣的。如果有需要，我們會用exec()把當(dāng)前進程映像替換成新的進程文件，完成自己想要實現(xiàn)的功能。
參考資料：
寫時拷貝(copy－on－write) COW技術(shù)https://blog.csdn.net/u012333003/article/details/25117457
Copy-On-Write 寫時復(fù)制原理https://blog.csdn.net/ppppppppp2009/article/details/22750939
二、解釋一下Redis的COW
基于上面的基礎(chǔ)，我們應(yīng)該已經(jīng)了解COW這么一項技術(shù)了。
下面我來說一下我對《Redis設(shè)計與實現(xiàn)》那段話的理解：
Redis在持久化時，如果是采用BGSAVE命令或者BGREWRITEAOF的方式，那Redis會fork出一個子進程來讀取數(shù)據(jù)，從而寫到磁盤中。
總體來看，Redis還是讀操作比較多。如果子進程存在期間，發(fā)生了大量的寫操作，那可能就會出現(xiàn)很多的分頁錯誤(頁異常中斷page-fault)，這樣就得耗費不少性能在復(fù)制上。
而在rehash階段上，寫操作是無法避免的。所以Redis在fork出子進程之后，將負載因子閾值提高，盡量減少寫操作，避免不必要的內(nèi)存寫入操作，最大限度地節(jié)約內(nèi)存。
參考資料：
下面來看看文件系統(tǒng)中的COW是啥意思：
Copy-on-write在對數(shù)據(jù)進行修改的時候，不會直接在原來的數(shù)據(jù)位置上進行操作，而是重新找個位置修改，這樣的好處是一旦系統(tǒng)突然斷電，重啟之后不需要做Fsck。好處就是能保證數(shù)據(jù)的完整性，掉電的話容易恢復(fù)。
比如說：要修改數(shù)據(jù)塊A的內(nèi)容，先把A讀出來，寫到B塊里面去。如果這時候斷電了，原來A的內(nèi)容還在！
參考資料：
最后我們再來看一下寫時復(fù)制的思想(摘錄自維基百科)：
寫入時復(fù)制(英語：Copy-on-write，簡稱COW)是一種計算機程序設(shè)計領(lǐng)域的優(yōu)化策略。其核心思想是，如果有多個調(diào)用者(callers)同時請求相同資源(如內(nèi)存或磁盤上的數(shù)據(jù)存儲)，他們會共同獲取相同的指針指向相同的資源，直到某個調(diào)用者試圖修改資源的內(nèi)容時，系統(tǒng)才會真正復(fù)制一份專用副本(private copy)給該調(diào)用者，而其他調(diào)用者所見到的最初的資源仍然保持不變。這過程對其他的調(diào)用者都是透明的(transparently)。此作法主要的優(yōu)點是如果調(diào)用者沒有修改該資源，就不會有副本(private copy)被建立，因此多個調(diào)用者只是讀取操作時可以共享同一份資源。
至少從本文我們可以總結(jié)出：
Linux通過Copy On Write技術(shù)極大地減少了Fork的開銷。
文件系統(tǒng)通過Copy On Write技術(shù)一定程度上保證數(shù)據(jù)的完整性。
其實在Java里邊，也有Copy On Write技術(shù)。
Java中的COW
這部分留到下一篇來說，敬請期待~
如果大家有更好的理解方式或者文章有錯誤的地方還請大家不吝在評論區(qū)留言，大家互相學(xué)習(xí)交流~~~
參考資料：
一個堅持原創(chuàng)的Java技術(shù)公眾號：Java3y，歡迎大家關(guān)注
3y所有的原創(chuàng)文章：
總結(jié)
以上是生活随笔為你收集整理的java copy-on-write_COW奶牛！Copy On Write机制了解一下的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： DDS基础介绍
- 下一篇： 国家示范性高职院校名单(109所)