多任務(wù)的場(chǎng)景：1.爬取不同url的內(nèi)容，爬取同一個(gè)url分頁(yè)內(nèi)容。比如：豆瓣圖書 Top 250 https://book.douban.com/top250?start=0
實(shí)現(xiàn)豆瓣圖書Top250的抓取工作，并存入excel中，如果采用的串行爬取方式，每次爬完250頁(yè)都需要花費(fèi)7到8分鐘，顯然讓人受不了，所以必須在效率上有所提升才行。
仔細(xì)想想就可以發(fā)現(xiàn)，其實(shí)爬10頁(yè)（每頁(yè)25本），這10頁(yè)爬的先后關(guān)系是無(wú)所謂的，因?yàn)閷懭氲臅r(shí)候沒(méi)有依賴關(guān)系，各寫各的，所以用串行方式爬取是吃虧的。
顯然可以用并發(fā)來(lái)加快速度，而且由于沒(méi)有同步互斥關(guān)系，所以連鎖都不用上，到底應(yīng)該選擇哪種方式，我們需要先了解各自的優(yōu)缺點(diǎn)。

本人還有一篇文章是關(guān)于 同步與異步以及線程與進(jìn)程

一、多線程任務(wù)和多進(jìn)程任務(wù)優(yōu)缺點(diǎn)
首先，要實(shí)現(xiàn)多任務(wù)，通常我們會(huì)設(shè)計(jì)Master-Worker模式，Master負(fù)責(zé)分配任務(wù)，Worker負(fù)責(zé)執(zhí)行任務(wù)，因此，多任務(wù)環(huán)境下，通常是一個(gè)Master，多個(gè)Worker。
如果用多進(jìn)程實(shí)現(xiàn)Master-Worker，主進(jìn)程就是Master，其他進(jìn)程就是Worker。
如果用多線程實(shí)現(xiàn)Master-Worker，主線程就是Master，其他線程就是Worker。
多進(jìn)程模式最大的優(yōu)點(diǎn)就是穩(wěn)定性高，因?yàn)橐粋€(gè)子進(jìn)程崩潰了，不會(huì)影響主進(jìn)程和其他子進(jìn)程。（當(dāng)然主進(jìn)程掛了所有進(jìn)程就全掛了，但是Master進(jìn)程只負(fù)責(zé)分配任務(wù)，掛掉的概率低）著名的Apache最早就是采用多進(jìn)程模式。
多進(jìn)程模式的缺點(diǎn)是創(chuàng)建進(jìn)程的代價(jià)大，在Unix/Linux系統(tǒng)下，用fork調(diào)用還行，在Windows下創(chuàng)建進(jìn)程開(kāi)銷巨大。另外，操作系統(tǒng)能同時(shí)運(yùn)行的進(jìn)程數(shù)也是有限的，在內(nèi)存和CPU的限制下，如果有幾千個(gè)進(jìn)程同時(shí)運(yùn)行，操作系統(tǒng)連調(diào)度都會(huì)成問(wèn)題。
多線程模式通常比多進(jìn)程快一點(diǎn)，但是也快不到哪去，而且，多線程模式致命的缺點(diǎn)就是任何一個(gè)線程掛掉都可能直接造成整個(gè)進(jìn)程崩潰，因?yàn)樗芯€程共享進(jìn)程的內(nèi)存。在Windows上，如果一個(gè)線程執(zhí)行的代碼出了問(wèn)題，你經(jīng)常可以看到這樣的提示：“該程序執(zhí)行了非法操作，即將關(guān)閉”，其實(shí)往往是某個(gè)線程出了問(wèn)題，但是操作系統(tǒng)會(huì)強(qiáng)制結(jié)束整個(gè)進(jìn)程。
在Windows下，多線程的效率比多進(jìn)程要高，所以微軟的IIS服務(wù)器默認(rèn)采用多線程模式。由于多線程存在穩(wěn)定性的問(wèn)題，IIS的穩(wěn)定性就不如Apache。為了緩解這個(gè)問(wèn)題，IIS和Apache現(xiàn)在又有多進(jìn)程+多線程的混合模式，真是把問(wèn)題越搞越復(fù)雜。

二、計(jì)算密集型 vs. IO密集型
是否采用多任務(wù)的第二個(gè)考慮是任務(wù)的類型。我們可以把任務(wù)分為計(jì)算密集型和IO密集型。
計(jì)算密集型任務(wù)的特點(diǎn)是要進(jìn)行大量的計(jì)算，消耗CPU資源，比如計(jì)算圓周率、對(duì)視頻進(jìn)行高清解碼等等，全靠CPU的運(yùn)算能力。這種計(jì)算密集型任務(wù)雖然也可以用多任務(wù)完成，但是任務(wù)越多，花在任務(wù)切換的時(shí)間就越多，CPU執(zhí)行任務(wù)的效率就越低，所以，要最高效地利用CPU，計(jì)算密集型任務(wù)同時(shí)進(jìn)行的數(shù)量應(yīng)當(dāng)?shù)扔贑PU的核心數(shù)。
計(jì)算密集型任務(wù)由于主要消耗CPU資源，因此，代碼運(yùn)行效率至關(guān)重要。Python這樣的腳本語(yǔ)言運(yùn)行效率很低，完全不適合計(jì)算密集型任務(wù)。對(duì)于計(jì)算密集型任務(wù)，最好用C語(yǔ)言編寫。
第二種任務(wù)的類型是IO密集型，涉及到網(wǎng)絡(luò)、磁盤IO的任務(wù)都是IO密集型任務(wù)，這類任務(wù)的特點(diǎn)是CPU消耗很少，任務(wù)的大部分時(shí)間都在等待IO操作完成（因?yàn)镮O的速度遠(yuǎn)遠(yuǎn)低于CPU和內(nèi)存的速度）。對(duì)于IO密集型任務(wù)，任務(wù)越多，CPU效率越高，但也有一個(gè)限度。常見(jiàn)的大部分任務(wù)都是IO密集型任務(wù)，比如Web應(yīng)用。
IO密集型任務(wù)執(zhí)行期間，99%的時(shí)間都花在IO上，花在CPU上的時(shí)間很少，因此，用運(yùn)行速度極快的C語(yǔ)言替換用Python這樣運(yùn)行速度極低的腳本語(yǔ)言，完全無(wú)法提升運(yùn)行效率。對(duì)于IO密集型任務(wù)，最合適的語(yǔ)言就是開(kāi)發(fā)效率最高（代碼量最少）的語(yǔ)言，腳本語(yǔ)言是首選，C語(yǔ)言最差。

三、異步IO
考慮到CPU和IO之間巨大的速度差異，一個(gè)任務(wù)在執(zhí)行的過(guò)程中大部分時(shí)間都在等待IO操作，單進(jìn)程單線程模型會(huì)導(dǎo)致別的任務(wù)無(wú)法并行執(zhí)行，因此，我們才需要多進(jìn)程模型或者多線程模型來(lái)支持多任務(wù)并發(fā)執(zhí)行。
現(xiàn)代操作系統(tǒng)對(duì)IO操作已經(jīng)做了巨大的改進(jìn)，最大的特點(diǎn)就是支持異步IO。如果充分利用操作系統(tǒng)提供的異步IO支持，就可以用單進(jìn)程單線程模型來(lái)執(zhí)行多任務(wù)，這種全新的模型稱為事件驅(qū)動(dòng)模型，Nginx就是支持異步IO的Web服務(wù)器，它在單核CPU上采用單進(jìn)程模型就可以高效地支持多任務(wù)。在多核CPU上，可以運(yùn)行多個(gè)進(jìn)程（數(shù)量與CPU核心數(shù)相同），充分利用多核CPU。由于系統(tǒng)總的進(jìn)程數(shù)量十分有限，因此操作系統(tǒng)調(diào)度非常高效。用異步IO編程模型來(lái)實(shí)現(xiàn)多任務(wù)是一個(gè)主要的趨勢(shì)。
對(duì)應(yīng)到Python語(yǔ)言，單線程的異步編程模型稱為協(xié)程，有了協(xié)程的支持，就可以基于事件驅(qū)動(dòng)編寫高效的多任務(wù)程序。
在學(xué)習(xí)異步IO模型前，我們先來(lái)了解協(xié)程。
協(xié)程，又稱微線程，纖程。英文名Coroutine。
協(xié)程的概念很早就提出來(lái)了，但直到最近幾年才在某些語(yǔ)言（如Lua）中得到廣泛應(yīng)用。
子程序，或者稱為函數(shù)，在所有語(yǔ)言中都是層級(jí)調(diào)用，比如A調(diào)用B，B在執(zhí)行過(guò)程中又調(diào)用了C，C執(zhí)行完畢返回，B執(zhí)行完畢返回，最后是A執(zhí)行完畢。
所以子程序調(diào)用是通過(guò)棧實(shí)現(xiàn)的，一個(gè)線程就是執(zhí)行一個(gè)子程序。
子程序調(diào)用總是一個(gè)入口，一次返回，調(diào)用順序是明確的。而協(xié)程的調(diào)用和子程序不同。
協(xié)程看上去也是子程序，但執(zhí)行過(guò)程中，在子程序內(nèi)部可中斷，然后轉(zhuǎn)而執(zhí)行別的子程序，在適當(dāng)?shù)臅r(shí)候再返回來(lái)接著執(zhí)行。
注意，在一個(gè)子程序中中斷，去執(zhí)行其他子程序，不是函數(shù)調(diào)用，有點(diǎn)類似CPU的中斷。
協(xié)程的特點(diǎn)在于是一個(gè)線程執(zhí)行，那和多線程比，協(xié)程有何優(yōu)勢(shì)？
最大的優(yōu)勢(shì)就是協(xié)程極高的執(zhí)行效率。因?yàn)樽映绦蚯袚Q不是線程切換，而是由程序自身控制，因此，沒(méi)有線程切換的開(kāi)銷，和多線程比，線程數(shù)量越多，協(xié)程的性能優(yōu)勢(shì)就越明顯。
第二大優(yōu)勢(shì)就是不需要多線程的鎖機(jī)制，因?yàn)橹挥幸粋€(gè)線程，也不存在同時(shí)寫變量沖突，在協(xié)程中控制共享資源不加鎖，只需要判斷狀態(tài)就好了，所以執(zhí)行效率比多線程高很多。
因?yàn)閰f(xié)程是一個(gè)線程執(zhí)行，那怎么利用多核CPU呢？最簡(jiǎn)單的方法是多進(jìn)程+協(xié)程，既充分利用多核，又充分發(fā)揮協(xié)程的高效率，可獲得極高的性能。
Python對(duì)協(xié)程的支持是通過(guò)generator實(shí)現(xiàn)的。

四、分布式進(jìn)程
在Thread和Process中，應(yīng)當(dāng)優(yōu)選Process，因?yàn)镻rocess更穩(wěn)定，而且，Process可以分布到多臺(tái)機(jī)器上，而Thread最多只能分布到同一臺(tái)機(jī)器的多個(gè)CPU上。
Python的multiprocessing模塊不但支持多進(jìn)程，其中managers子模塊還支持把多進(jìn)程分布到多臺(tái)機(jī)器上。一個(gè)服務(wù)進(jìn)程可以作為調(diào)度者，將任務(wù)分布到其他多個(gè)進(jìn)程中，依靠網(wǎng)絡(luò)通信。
由于managers模塊封裝很好，不必了解網(wǎng)絡(luò)通信的細(xì)節(jié)，就可以很容易地編寫分布式多進(jìn)程程序。

有刪改，轉(zhuǎn)載自：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/0014319292979766bd3285c9d6b4942a8ea9b4e9cfb48d8000

下一篇文章舉例說(shuō)明一下單線程異步、多線程、多進(jìn)程的簡(jiǎn)單場(chǎng)景，并對(duì)比運(yùn)行效率

總結(jié)

以上是生活随笔為你收集整理的多任务场景下单线程异步多线程多进程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。