进程与线程理论基础
1、背景知識
理論基礎：
一 操作系統的作用：
1：隱藏丑陋復雜的硬件接口，提供良好的抽象接口2：管理、調度進程，并且將多個進程對硬件的競爭變得有序二 多道技術：
1.產生背景：針對單核，實現并發（現在的主機一般是多核，那么每個核都會利用多道技術，但是核與核之間沒有使用多道技術切換這么一說，一個程序io阻塞，會等到io結束再重新調度）2.時間上的復用（復用一個cpu的時間片）+空間上的復用（如內存中同時有多道程序）2、進程
2.1 什么是進程
進程：正在進行的一個過程或者說一個任務。而負責執行任務則是cpu。2.2 進程與程序的區別
程序僅僅只是一堆代碼而已，而進程指的是程序的運行過程。2.3 并發與并行
無論是并行還是并發，在用戶看來都是'同時'運行的，不管是進程還是線程，都只是一個任務而已，真是干活的是cpu，cpu來做這些任務，而一個cpu同一時刻只能執行一個任務一 并發：是偽并行，即看起來是同時運行。單個cpu+多道技術就可以實現并發，（并行也屬于并發）二 并行：同時運行，只有具備多個cpu才能實現并行單核下，可以利用多道技術，多個核，每個核也都可以利用多道技術（多道技術是針對單核而言的）有四個核，六個任務，這樣同一時間有四個任務被執行，假設分別被分配給了cpu1，cpu2，cpu3，cpu4，一旦任務1遇到I/O就被迫中斷執行，此時任務5就拿到cpu1的時間片去執行，這就是單核下的多道技術而一旦任務1的I/O結束了，操作系統會重新調用它(需知進程的調度、分配給哪個cpu運行，由操作系統說了算)，可能被分配給四個cpu中的任意一個去執行2.4 同步與異步
同步執行：一個進程在執行某個任務時，另外一個進程必須等待其執行完畢，才能繼續執行
異步執行：一個進程在執行某個任務時，另外一個進程無需等待其執行完畢，就可以繼續執行，當有消息返回時，系統會通知后者進行處理，這樣可以提高執行效率
舉個例子，打電話時就是同步通信，發短息時就是異步通信。2.5 進程的創建
但凡是硬件，都需要有操作系統去管理，只要有操作系統，就有進程的概念，就需要有創建進程的方式，一些操作系統只為一個應用程序設計，比如微波爐中的控制器，一旦啟動微波爐，所有的進程都已經存在。
而對于通用系統（跑很多應用程序），需要有系統運行過程中創建或撤銷進程的能力，主要分為4中形式創建新的進程
1. 系統初始化（查看進程linux中用ps命令，windows中用任務管理器，前臺進程負責與用戶交互，后臺運行的進程與用戶無關，運行在后臺并且只在需要時才喚醒的進程，稱為守護進程，如電子郵件、web頁面、新聞、打印）
2. 一個進程在運行過程中開啟了子進程（如nginx開啟多進程，os.fork,subprocess.Popen等）
3. 用戶的交互式請求，而創建一個新進程（如用戶雙擊暴風影音）
4. 一個批處理作業的初始化（只在大型機的批處理系統中應用）
無論哪一種，新進程的創建都是由一個已經存在的進程執行了一個用于創建進程的系統調用而創建的：
1. 在UNIX中該系統調用是：fork，fork會創建一個與父進程一模一樣的副本，二者有相同的存儲映像、同樣的環境字符串和同樣的打開文件（在shell解釋器進程中，執行一個命令就會創建一個子進程）
2. 在windows中該系統調用是：CreateProcess，CreateProcess既處理進程的創建，也負責把正確的程序裝入新進程。
關于創建的子進程，UNIX和windows
1.相同的是：進程創建后，父進程和子進程有各自不同的地址空間（多道技術要求物理層面實現進程之間內存的隔離），任何一個進程的在其地址空間中的修改都不會影響到另外一個進程。
2.不同的是：在UNIX中，子進程的初始地址空間是父進程的一個副本，提示：子進程和父進程是可以有只讀的共享內存區的。但是對于windows系統來說，從一開始父進程與子進程的地址空間就是不同的。
2.6 進程的終止
1. 正常退出（自愿，如用戶點擊交互式頁面的叉號，或程序執行完畢調用發起系統調用正常退出，在linux中用exit，在windows中用ExitProcess）
2. 出錯退出（自愿，python a.py中a.py不存在）
3. 嚴重錯誤（非自愿，執行非法指令，如引用不存在的內存，1/0等，可以捕捉異常，try...except...）
4. 被其他進程殺死（非自愿，如kill -9）
2.7 進程的層次結構
無論UNIX還是windows，進程只有一個父進程，不同的是：
1. 在UNIX中所有的進程，都是以init進程為根，組成樹形結構。父子進程共同組成一個進程組，這樣，當從鍵盤發出一個信號時，該信號被送給當前與鍵盤相關的進程組中的所有成員。
2. 在windows中，沒有進程層次的概念，所有的進程都是地位相同的，唯一類似于進程層次的暗示，是在創建進程時，父進程得到一個特別的令牌（稱為句柄）,該句柄可以用來控制子進程，但是父進程有權把該句柄傳給其他子進程，這樣就沒有層次了。
回到頂部
2.8 進程的狀態
tail -f access.log |grep '404'
執行程序tail，開啟一個子進程，執行程序grep，開啟另外一個子進程，兩個進程之間基于管道'|'通訊，將tail的結果作為grep的輸入。
進程grep在等待輸入（即I/O）時的狀態稱為阻塞，此時grep命令都無法運行
其實在兩種情況下會導致一個進程在邏輯上不能運行，
1. 進程掛起是自身原因，遇到I/O阻塞，便要讓出CPU讓其他進程去執行，這樣保證CPU一直在工作
2. 與進程無關，是操作系統層面，可能會因為一個進程占用時間過多，或者優先級等原因，而調用其他的進程去使用CPU。
因而一個進程由三種狀態
2.9 進程并發的實現
進程并發的實現在于，硬件中斷一個正在運行的進程，把此時進程運行的所有狀態保存下來，為此，操作系統維護一張表格，即進程表（process table），每個進程占用一個進程表項（這些表項也稱為進程控制塊）
該表存放了進程狀態的重要信息：程序計數器、堆棧指針、內存分配狀況、所有打開文件的狀態、帳號和調度信息，以及其他在進程由運行態轉為就緒態或阻塞態時，必須保存的信息，從而保證該進程在再次啟動時，就像從未被中斷過一樣。
3、線程
3.1 什么是線程
在傳統操作系統中，每個進程有一個地址空間，而且默認就有一個控制線程
線程顧名思義，就是一條流水線工作的過程，一條流水線必須屬于一個車間，一個車間的工作過程是一個進程
車間負責把資源整合到一起，是一個資源單位，而一個車間內至少有一個流水線流水線的工作需要電源，電源就相當于cpu所以，進程只是用來把資源集中到一起（進程只是一個資源單位，或者說資源集合），而線程才是cpu上的執行單位。
多線程（即多個控制線程）的概念是，在一個進程中存在多個控制線程，多個控制線程共享該進程的地址空間，相當于一個車間內有多條流水線，都共用一個車間的資源。
例如，北京地鐵與上海地鐵是不同的進程，而北京地鐵里的13號線是一個線程，北京地鐵所有的線路共享北京地鐵所有的資源，比如所有的乘客可以被所有線路拉。創建進程的開銷要遠大于線程？
如果我們的軟件是一個工廠，該工廠有多條流水線，流水線工作需要電源，電源只有一個即cpu（單核cpu）
一個車間就是一個進程，一個車間至少一條流水線（一個進程至少一個線程）
創建一個進程，就是創建一個車間（申請空間，在該空間內建至少一條流水線）
而建線程，就只是在一個車間內造一條流水線，無需申請空間，所以創建開銷小
進程之間是競爭關系，線程之間是協作關系？
車間直接是競爭/搶電源的關系，競爭（不同的進程直接是競爭關系，是不同的程序員寫的程序運行的，迅雷搶占其他進程的網速，360把其他進程當做病毒干死）
一個車間的不同流水線式協同工作的關系（同一個進程的線程之間是合作關系，是同一個程序寫的程序內開啟動，迅雷內的線程是合作關系，不會自己干自己）
3.2 為何要用多線程
多線程指的是，在一個進程中開啟多個線程，簡單的講：如果多個任務共用一塊地址空間，那么必須在一個進程內開啟多個線程。詳細的講分為4點：
1. 多線程共享一個進程的地址空間2. 線程比進程更輕量級，線程比進程更容易創建可撤銷，在許多操作系統中，創建一個線程比創建一個進程要快10-100倍，在有大量線程需要動態和快速修改時，這一特性很有用3. 若多個線程都是cpu密集型的，那么并不能獲得性能上的增強，但是如果存在大量的計算和大量的I/O處理，擁有多個線程允許這些活動彼此重疊運行，從而會加快程序執行的速度。4. 在多cpu系統中，為了最大限度的利用多核，可以開啟多個線程（比開進程開銷要小的多）3.3 多線程的應用舉例
開啟一個字處理軟件進程，該進程肯定需要辦不止一件事情，比如監聽鍵盤輸入，處理文字，定時自動將文字保存到硬盤，這三個任務操作的都是同一塊數據，因而不能用多進程。只能在一個進程里并發地開啟三個線程,如果是單線程，那就只能是，鍵盤輸入時，不能處理文字和自動保存，自動保存時又不能輸入和處理文字。
轉載于:https://www.cnblogs.com/forever5325/p/9529913.html
總結
- 上一篇： streamsets rest api
- 下一篇： django1.4.9 pyth