日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程语言 > python >内容正文

python

为什么在Python里推荐使用多进程而不是多线程?(为什么python多线程无法增加CPU使用率?)...

發布時間:2025/3/15 python 27 豆豆
生活随笔 收集整理的這篇文章主要介紹了 为什么在Python里推荐使用多进程而不是多线程?(为什么python多线程无法增加CPU使用率?)... 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

最近在看Python的多線程,經常我們會聽到老手說:“Python下多線程是雞肋,推薦使用多進程!”,但是為什么這么說呢?? ?? ???

? ?? ???
要知其然,更要知其所以然。所以有了下面的深入研究:? ?? ???
? ?? ???

首先強調背景:? ?? ???
1、GIL是什么?
GIL的全稱是Global Interpreter Lock(全局解釋器鎖),來源是python設計之初的考慮,為了數據安全所做的決定。? ?? ???
2、每個CPU在同一時間只能執行一個線程(在單核CPU下的多線程其實都只是并發,不是并行,并發和并行從宏觀上來講都是同時處理多路請求的概念。但并發和并行又有區別,并行是指兩個或者多個事件在同一時刻發生;而并發是指兩個或多個事件在同一時間間隔內發生。)

在Python多線程下,每個線程的執行方式:
1、獲取GIL
2、執行代碼直到sleep或者是python虛擬機將其掛起。
3、釋放GIL? ?? ???
? ?? ???
可見,某個線程想要執行,必須先拿到GIL,我們可以把GIL看作是“通行證”,并且在一個python進程中,GIL只有一個。拿不到通行證的線程,就不允許進入CPU執行。? ?? ???
? ?? ???
在Python2.x里,GIL的釋放邏輯是當前線程遇見IO操作或者ticks計數達到100ticks可以看作是Python自身的一個計數器,專門做用于GIL,每次釋放后歸零,這個計數可以通過 sys.setcheckinterval 來調整),進行釋放。? ?? ???
? ?? ???
而每次釋放GIL鎖,線程進行鎖競爭、切換線程,會消耗資源。并且由于GIL鎖存在,python里一個進程永遠只能同時執行一個線程(拿到GIL的線程才能執行),這就是為什么在多核CPU上,python的多線程效率并不高。? ?? ???
? ?? ???? ?? ?? ?? ?? ?? ?? ?? ??
那么是不是python的多線程就完全沒用了呢?? ?? ???
在這里我們進行分類討論:? ?? ???
1、CPU密集型代碼(各種循環處理、計數等等),在這種情況下,由于計算工作多,ticks計數很快就會達到閾值,然后觸發GIL的釋放與再競爭(多個線程來回切換當然是需要消耗資源的),所以python下的多線程對CPU密集型代碼并不友好。? ?? ???

2、IO密集型代碼(文件處理、網絡爬蟲等),多線程能夠有效提升效率(單線程下有IO操作會進行IO等待,造成不必要的時間浪費,而開啟多線程能在線程A等待時,自動切換到線程B,可以不浪費CPU的資源,從而能提升程序執行效率)。所以python的多線程對IO密集型代碼比較友好。? ?? ???
? ?? ???

而在python3.x中,GIL不使用ticks計數,改為使用計時器(執行時間達到閾值后,當前線程釋放GIL),這樣對CPU密集型程序更加友好,但依然沒有解決GIL導致的同一時間只能執行一個線程的問題,所以效率依然不盡如人意。? ?? ???
? ?? ???? ?? ?? ?? ?? ??? ?? ???
請注意:多核多線程比單核多線程更差,原因是單核下多線程,每次釋放GIL,喚醒的那個線程都能獲取到GIL鎖,所以能夠無縫執行,但多核下,CPU0釋放GIL后,其他CPU上的線程都會進行競爭,但GIL可能會馬上又被CPU0拿到,導致其他幾個CPU上被喚醒后的線程會醒著等待到切換時間后又進入待調度狀態,這樣會造成線程顛簸(thrashing),導致效率更低
? ?? ???
? ?? ???? ?? ?? ?? ?? ?? ?? ?? ??
回到最開始的問題:經常我們會聽到老手說:“python下想要充分利用多核CPU,就用多進程”,原因是什么呢?? ?? ???

原因是:每個進程有各自獨立的GIL,互不干擾,這樣就可以真正意義上的并行執行,所以在python中,多進程的執行效率優于多線程(僅僅針對多核CPU而言)。??? ?? ?
? ?? ???? ?? ?? ?? ?? ??? ?? ???
所以在這里說結論:多核下,想做并行提升效率,比較通用的方法是使用多進程,能夠有效提高執行效率? ? ? ?

轉載于:https://www.cnblogs.com/strive-man/p/8673489.html

總結

以上是生活随笔為你收集整理的为什么在Python里推荐使用多进程而不是多线程?(为什么python多线程无法增加CPU使用率?)...的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。