前言

很早之前就在構(gòu)思這篇文章的主題，進程線程可以說是操作系統(tǒng)基礎(chǔ)，看過很多關(guān)于這方面知識的文章都是純理論講述，編程新手有些難以直接服用。

于是寫下這篇文章，用圖解的形式帶你學習和掌握進程、線程、協(xié)程，文字力求簡單明了，對于復(fù)雜概念做到一個概念一張圖解，即使你是編程小白也能看的明明白白，媽媽再也不用擔心你的學習。

為了更好的理解這部分內(nèi)容，帶大家先了解 Linux 系統(tǒng)基礎(chǔ)和進程、線程以及協(xié)程的差異與特點。

在操作系統(tǒng)課程的學習中，很多人對進程線程有大體的認識，但操作系統(tǒng)教材更偏向于理論敘述，本文會結(jié)合 Linux 系統(tǒng)實現(xiàn)分析，更加印象深刻。

同時，大部分人都接觸進程和線程比較多，對協(xié)程知之甚少，然而最近協(xié)程并發(fā)編程技術(shù)火熱起來，希望讀完本文你對協(xié)程也有一個基本的了解。

話不多說，我們馬上進入本文的學習。

進程

首先還是說下「程序」的概念，程序是一些保存在磁盤上的指令的有序集合，是靜態(tài)的。進程是程序執(zhí)行的過程，包括了動態(tài)創(chuàng)建、調(diào)度和消亡的整個過程，進程是程序資源管理的最小單位。

進程與資源

那么進程都管理哪些資源呢？通常包括內(nèi)存資源、IO資源、信號處理等部分。

程序和進程

篇幅有限著重說一下內(nèi)存管理，進程運行起來必然會涉及到對內(nèi)存資源的管理。內(nèi)存資源有限，操作系統(tǒng)采用虛擬內(nèi)存技術(shù)，把進程虛擬地址空間劃分成用戶空間和內(nèi)核空間。

地址空間

4GB 的進程虛擬地址空間被分成兩部分：用戶空間和內(nèi)核空間

用戶空間內(nèi)核空間

用戶空間

用戶空間按照訪問屬性一致的地址空間存放在一起的原則，劃分成 5個不同的內(nèi)存區(qū)域。訪問屬性指的是“可讀、可寫、可執(zhí)行等 。

• 代碼段

  代碼段是用來存放可執(zhí)行文件的操作指令，可執(zhí)行程序在內(nèi)存中的鏡像。代碼段需要防止在運行時被非法修改，所以只準許讀取操作，它是不可寫的。

• 數(shù)據(jù)段

  數(shù)據(jù)段用來存放可執(zhí)行文件中已初始化全局變量，換句話說就是存放程序靜態(tài)分配的變量和全局變量。

• BSS段

  BSS段包含了程序中未初始化的全局變量，在內(nèi)存中 bss 段全部置零。

• 堆 heap

  堆是用于存放進程運行中被動態(tài)分配的內(nèi)存段，它的大小并不固定，可動態(tài)擴張或縮減。當進程調(diào)用malloc等函數(shù)分配內(nèi)存時，新分配的內(nèi)存就被動態(tài)添加到堆上（堆被擴張）；當利用free等函數(shù)釋放內(nèi)存時，被釋放的內(nèi)存從堆中被剔除（堆被縮減）

• 棧 stack

  棧是用戶存放程序臨時創(chuàng)建的局部變量，也就是函數(shù)中定義的變量（但不包括 static 聲明的變量，static意味著在數(shù)據(jù)段中存放變量）。除此以外，在函數(shù)被調(diào)用時，其參數(shù)也會被壓入發(fā)起調(diào)用的進程棧中，并且待到調(diào)用結(jié)束后，函數(shù)的返回值也會被存放回棧中。由于棧的先進后出特點，所以棧特別方便用來保存/恢復(fù)調(diào)用現(xiàn)場。從這個意義上講，我們可以把堆棧看成一個寄存、交換臨時數(shù)據(jù)的內(nèi)存區(qū)。

上述幾種內(nèi)存區(qū)域中數(shù)據(jù)段、BSS 段、堆通常是被連續(xù)存儲在內(nèi)存中，在位置上是連續(xù)的，而代碼段和棧往往會被獨立存放。堆和棧兩個區(qū)域在 i386 體系結(jié)構(gòu)中棧向下擴展、堆向上擴展，相對而生。

程序內(nèi)存分段

你也可以再 linux 下用size 命令查看編譯后程序的各個內(nèi)存區(qū)域大小：

[lemon?~]#?size?/usr/local/sbin/sshdtext????data?????bss?????dec?????hex?filename 1924532???12412??426896?2363840??2411c0?/usr/local/sbin/sshd

內(nèi)核空間

在 x86 32 位系統(tǒng)里，Linux 內(nèi)核地址空間是指虛擬地址從 0xC0000000 開始到 0xFFFFFFFF 為止的高端內(nèi)存地址空間，總計 1G 的容量， 包括了內(nèi)核鏡像、物理頁面表、驅(qū)動程序等運行在內(nèi)核空間 。

內(nèi)核空間地址映射

線程

線程是操作操作系統(tǒng)能夠進行運算調(diào)度的最小單位。線程被包含在進程之中，是進程中的實際運作單位，一個進程內(nèi)可以包含多個線程，線程是資源調(diào)度的最小單位。

多線程程序模型

線程資源和開銷

同一進程中的多條線程共享該進程中的全部系統(tǒng)資源，如虛擬地址空間，文件描述符文件描述符和信號處理等等。但同一進程中的多個線程有各自的調(diào)用棧、寄存器環(huán)境、線程本地存儲等信息。

線程創(chuàng)建的開銷主要是線程堆棧的建立，分配內(nèi)存的開銷。這些開銷并不大，最大的開銷發(fā)生在線程上下文切換的時候。

線程切換

線程分類

還記得剛開始我們講的內(nèi)核空間和用戶空間概念嗎？線程按照實現(xiàn)位置和方式的不同，也分為用戶級線程和內(nèi)核線程，下面一起來看下這兩類線程的差異和特點。

用戶級線程

實現(xiàn)在用戶空間的線程稱為用戶級線程。用戶線程是完全建立在用戶空間的線程庫，用戶線程的創(chuàng)建、調(diào)度、同步和銷毀全由用戶空間的庫函數(shù)完成，不需要內(nèi)核的參與，因此這種線程的系統(tǒng)資源消耗非常低，且非常的高效。

特點

• 用戶線級線程只能參與競爭該進程的處理器資源，不能參與全局處理器資源的競爭。

• 用戶級線程切換都在用戶空間進行，開銷極低。

• 用戶級線程調(diào)度器在用戶空間的線程庫實現(xiàn)，內(nèi)核的調(diào)度對象是進程本身，內(nèi)核并不知道用戶線程的存在。

用戶線程圖解

缺點

• 如果觸發(fā)了引起阻塞的系統(tǒng)調(diào)用的調(diào)用，會立即阻塞該線程所屬的整個進程。

• 系統(tǒng)只看到進程看不到用戶線程，所以只有一個處理器內(nèi)核會被分配給該進程 ，也就不能發(fā)揮多核 CPU 的優(yōu)勢 。

內(nèi)核級線程

內(nèi)核線程建立和銷毀都是由操作系統(tǒng)負責、通過系統(tǒng)調(diào)用完成，內(nèi)核維護進程及線程的上下文信息以及線程切換。

特點

• 內(nèi)核級線級能參與全局的多核處理器資源分配，充分利用多核 CPU 優(yōu)勢。

• 每個內(nèi)核線程都可被內(nèi)核調(diào)度，因為線程的創(chuàng)建、撤銷和切換都是由內(nèi)核管理的。

• 一個內(nèi)核線程阻塞與他同屬一個進程的線程仍然能繼續(xù)運行。

內(nèi)核線程圖解

缺點

• 內(nèi)核級線程調(diào)度開銷較大。調(diào)度內(nèi)核線程的代價可能和調(diào)度進程差不多昂貴，代價要比用戶級線程大很多。

• 線程表是存放在操作系統(tǒng)固定的表格空間或者堆?？臻g里，所以內(nèi)核級線程的數(shù)量是有限的。

Linux 線程實現(xiàn)

Linux 并沒有為線程準備特定的數(shù)據(jù)結(jié)構(gòu)，因為 Linux只有task_struct這一種描述進程的結(jié)構(gòu)體。在內(nèi)核看來只有進程而沒有線程，線程調(diào)度時也是當做進程來調(diào)度的。Linux所謂的線程其實是與其他進程共享資源的輕量級進程。

為什么說是輕量級呢？在于它只有一個最小的執(zhí)行上下文和調(diào)度程序所需的統(tǒng)計信息，它只帶有進程執(zhí)行相關(guān)的信息，與父進程共享進程地址空間 。

輕量級進程

輕量級線程 Light-weight Process簡稱LWP ，是一種由內(nèi)核支持的用戶線程，每一個輕量級進程都與一個特定的內(nèi)核線程關(guān)聯(lián)。

它是基于內(nèi)核線程的高級抽象，系統(tǒng)只有先支持內(nèi)核線程才能有 LWP。每一個進程有一個或多個 LWPs ，每個LWP 由一個內(nèi)核線程支持，在這種實現(xiàn)的操作系統(tǒng)中 LWP ?就是用戶線程。

輕量級進程

輕量級進程最早在Linux 內(nèi)核 2.0.x 版本就已實現(xiàn)，應(yīng)用程序通過一個統(tǒng)一的 clone() 系統(tǒng)調(diào)用接口，用不同的參數(shù)指定創(chuàng)建的進程是輕量進程還是普通進程。

特點和缺點

由于輕量輕量級進程基于內(nèi)核線程實現(xiàn)，因此它的特點和缺點就是內(nèi)核線程的缺點，這里不再贅述。

查看 LWP 信息

輕量級線程也沒什么神秘的，還記得我在這篇文章《資深程序員總結(jié)：分析Linux進程的6個方法，我全都告訴你》教你的方法嗎？我們用 Linux 的 pstack 命令可以查看進程的輕量級線程 LWP 信息。下圖的黃色字體就是打印出的輕量級線程 ID ，以及該線程的調(diào)用堆棧信息，從最新的棧幀開始往下排列。

用法示例：pstack pid

pstack查看lwp

協(xié)程

協(xié)程的知名度好像不是很高，在以前我們談?wù)摳卟l(fā)，大部分人都知道利用多線程和多進程部署服務(wù)，提高服務(wù)性能，但一般不會提到協(xié)程。其實協(xié)程的概念出來的比線程還早，只不過最近才被人們更多的提起。

協(xié)程之所以最近被大家熟知，個人覺得是 Python 和 Go 從語言層面提供了對協(xié)程更好的支持，尤其是以 Goroutine 為代表的 Go 協(xié)程實現(xiàn)，很大程度上降低了協(xié)程使用門檻，可以說是后起之秀了！

why 協(xié)程

當今無數(shù)的 Web 服務(wù)和互聯(lián)網(wǎng)服務(wù)，本質(zhì)上大部分都是 IO 密集型服務(wù)，什么是 IO 密集型服務(wù)？意思是處理的任務(wù)大多是和網(wǎng)絡(luò)連接或讀寫相關(guān)的高耗時任務(wù)，高耗時是相對 CPU 計算邏輯處理型任務(wù)來說，兩者的處理時間差距不是一個數(shù)量級的。

IO 密集型服務(wù)的瓶頸不在 CPU 處理速度，而在于盡可能快速的完成高并發(fā)、多連接下的數(shù)據(jù)讀寫。

以前有兩種解決方案：

• 如果用多線程，高并發(fā)場景的大量 IO 等待會導致多線程被頻繁掛起和切換，非常消耗系統(tǒng)資源，同時多線程訪問共享資源存在競爭問題。

• 如果用多進程，不僅存在頻繁調(diào)度切換問題，同時還會存在每個進程資源不共享的問題，需要額外引入進程間通信機制來解決。

協(xié)程出現(xiàn)給高并發(fā)和 IO 密集型服務(wù)開發(fā)提供了另一種選擇。

當然，世界上沒有技術(shù)銀彈。在這里我想把協(xié)程這把鑰匙交到你手中，但是它也不是萬能鑰匙，最好的解決方案是貼合自身業(yè)務(wù)類型做出最優(yōu)選擇，不一定就選擇一種模型，有時候是幾種模型的組合，比如多線程搭配協(xié)程是常見的組合。

什么是協(xié)程

那什么是協(xié)程呢？協(xié)程 Coroutines 是一種比線程更加輕量級的微線程。類比一個進程可以擁有多個線程，一個線程也可以擁有多個協(xié)程，因此協(xié)程又稱微線程和纖程。

協(xié)程圖解

可以粗略的把協(xié)程理解成子程序調(diào)用，每個子程序都可以在一個單獨的協(xié)程內(nèi)執(zhí)行。

協(xié)程子程序模型

調(diào)度開銷

線程是被內(nèi)核所調(diào)度，線程被調(diào)度切換到另一個線程上下文的時候，需要保存一個用戶線程的狀態(tài)到內(nèi)存，恢復(fù)另一個線程狀態(tài)到寄存器，然后更新調(diào)度器的數(shù)據(jù)結(jié)構(gòu)，這幾步操作設(shè)計用戶態(tài)到內(nèi)核態(tài)轉(zhuǎn)換，開銷比較多。

線程切換

協(xié)程的調(diào)度完全由用戶控制，協(xié)程擁有自己的寄存器上下文和棧，協(xié)程調(diào)度切換時，將寄存器上下文和棧保存到其他地方，在切回來的時候，恢復(fù)先前保存的寄存器上下文和棧，直接操作用戶空間棧，完全沒有內(nèi)核切換的開銷。

協(xié)程切換

動態(tài)協(xié)程棧

協(xié)程擁有自己的寄存器上下文和棧，協(xié)程調(diào)度切換時將寄存器上下文和棧保存下來，在切回來的時候，恢復(fù)先前保存的寄存器的上下文和棧。

Goroutine 是 Golang 的協(xié)程實現(xiàn)。Goroutine 的棧只有 2KB大小，而且是動態(tài)伸縮的，可以按需調(diào)整大小，最大可達 1G 相比線程來說既不浪費又靈活了很多，可以說是相當?shù)膎ice了！

線程也都有一個固定大小的內(nèi)存塊來做棧，一般會是 2MB 大小，線程棧會用來存儲線程上下文信息。2MB 的線程棧和協(xié)程棧相比大了很多。

線程和協(xié)程棧對比

協(xié)程實現(xiàn)

Python協(xié)程實現(xiàn)

python 2.5 中引入 yield/send?表達式用于實現(xiàn)協(xié)程，但這種通過生成器的方式使用協(xié)程不夠優(yōu)雅。

python 3.5 之后引入async/await?，簡化了協(xié)程的使用并且更加便于理解。

Go語言協(xié)程實現(xiàn)

Golang 在語言層面實現(xiàn)了對協(xié)程的支持，Goroutine 是協(xié)程在 Go 語言中的實現(xiàn)， 在 Go 語言中每一個并發(fā)的執(zhí)行單元叫作一個 Goroutine ，Go 程序可以輕松創(chuàng)建成百上千個協(xié)程并發(fā)執(zhí)行。

Go 協(xié)程調(diào)度器有三個重要數(shù)據(jù)結(jié)構(gòu)：

• G 表示 ?Goroutine ，它是一個待執(zhí)行的任務(wù)；

• M 表示操作系統(tǒng)的線程，它由操作系統(tǒng)的調(diào)度器調(diào)度和管理；

• P 表示處理器 Processor，它可以被看做運行在線程上的本地調(diào)度器；

協(xié)程調(diào)度

Go 調(diào)度器最多可以創(chuàng)建 10000 個線程，但可以通過設(shè)置 GOMAXPROCS 變量指能夠正常運行的線程數(shù)， 這個變量的默認值 等于 CPU 個數(shù)，也就是線程數(shù)等于 CPU 核數(shù)，這樣不會觸發(fā)操作系統(tǒng)的線程調(diào)度和上下文切換，所有的調(diào)度由 Go 語言調(diào)度器觸發(fā)，都是在用戶態(tài)，減少了非常多的調(diào)用開銷。

總結(jié)

這篇文章講解和對比了進程、線程的概念，同時通過進程窺探到操作系統(tǒng)內(nèi)存管理的冰山一角，另外還講解了具體到 Linux 系統(tǒng)下線程的實現(xiàn)現(xiàn)狀，順勢引出了輕量級進程的概念。最后著重說明了大部分同學不太了解的協(xié)程，通過對比不同的服務(wù)模型，帶你了解協(xié)程的特點

有道無術(shù)，術(shù)可成；有術(shù)無道，止于術(shù)

歡迎大家關(guān)注Java之道公眾號

好文章，我在看??

總結(jié)

以上是生活随笔為你收集整理的面试官：换人！他连进程线程协程这几个特点都说不出的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。