當前位置：首頁 > 编程语言 > python >内容正文

python

肝！一行 Python 代码实现并行

發布時間：2024/9/15 python 42 豆豆

生活随笔收集整理的這篇文章主要介紹了肝！一行 Python 代码实现并行小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

轉自：caspar

segmentfault.com/a/1190000000414339?

Python 在程序并行化方面多少有些聲名狼藉。撇開技術上的問題，例如線程的實現和 GIL，我覺得錯誤的教學指導才是主要問題。常見的經典 Python 多線程、多進程教程多顯得偏"重"。而且往往隔靴搔癢，沒有深入探討日常工作中最有用的內容。

傳統的例子

簡單搜索下"Python 多線程教程"，不難發現幾乎所有的教程都給出涉及類和隊列的例子：

import os import PILfrom multiprocessing import Pool from PIL import ImageSIZE = (75,75) SAVE_DIRECTORY = thumbsdef get_image_paths(folder):return (os.path.join(folder, f)for f in os.listdir(folder)if jpeg in f)def create_thumbnail(filename): im = Image.open(filename)im.thumbnail(SIZE, Image.ANTIALIAS)base, fname = os.path.split(filename)save_path = os.path.join(base, SAVE_DIRECTORY, fname)im.save(save_path)if __name__ == __main__ :folder = os.path.abspath(11_18_2013_R000_IQM_Big_Sur_Mon__e10d1958e7b766c3e840 )os.mkdir(os.path.join(folder, SAVE_DIRECTORY))images = get_image_paths(folder)pool = Pool()pool.map(creat_thumbnail, images)pool.close()pool.join()

哈，看起來有些像 Java 不是嗎？

我并不是說使用生產者/消費者模型處理多線程/多進程任務是錯誤的（事實上，這一模型自有其用武之地）。只是，處理日常腳本任務時我們可以使用更有效率的模型。

問題在于…

首先，你需要一個樣板類；?
其次，你需要一個隊列來傳遞對象；?
而且，你還需要在通道兩端都構建相應的方法來協助其工作（如果需想要進行雙向通信或是保存結果還需要再引入一個隊列）。

worker 越多，問題越多

按照這一思路，你現在需要一個 worker 線程的線程池。下面是一篇 IBM 經典教程中的例子——在進行網頁檢索時通過多線程進行加速。

#Example2.pyA more realistic thread pool exampleimport time import threading import Queue import urllib2class Consumer(threading.Thread): def __init__(self, queue): threading.Thread.__init__(self)self._queue = queuedef run(self):while True:content = self._queue.get()if isinstance(content, str) and content == quit :breakresponse = urllib2.urlopen(content)print Bye byes!def Producer():urls = [http://www.python.org , http://www.yahoo.comhttp://www.scala.org , http://www.google.com# etc..]queue = Queue.Queue()worker_threads = build_worker_pool(queue, 4)start_time = time.time()# Add the urls to processfor url in urls:queue.put(url) ?# Add the poison pillvfor worker in worker_threads:queue.put( quit )for worker in worker_threads:worker.join()print Done! Time taken: {} .format(time.time() - start_time)def build_worker_pool(queue, size):workers = []for _ in range(size):worker = Consumer(queue)worker.start()workers.append(worker)return workersif __name__ == __main__ :Producer()

這段代碼能正確的運行，但仔細看看我們需要做些什么：構造不同的方法、追蹤一系列的線程，還有為了解決惱人的死鎖問題，我們需要進行一系列的 join 操作。這還只是開始……

至此我們回顧了經典的多線程教程，多少有些空洞不是嗎？樣板化而且易出錯，這樣事倍功半的風格顯然不那么適合日常使用，好在我們還有更好的方法。

何不試試 map

map 這一小巧精致的函數是簡捷實現 Python 程序并行化的關鍵。map 源于 Lisp 這類函數式編程語言。它可以通過一個序列實現兩個函數之間的映射。

? ?urls = [ http://www.yahoo.com , http://www.reddit.com ]results = map(urllib2.urlopen, urls)

上面的這兩行代碼將 urls 這一序列中的每個元素作為參數傳遞到 urlopen 方法中，并將所有結果保存到 results 這一列表中。其結果大致相當于：

results = [] for url in urls:results.append(urllib2.urlopen(url))

map 函數一手包辦了序列操作、參數傳遞和結果保存等一系列的操作。

為什么這很重要呢？這是因為借助正確的庫，map 可以輕松實現并行化操作。

在 Python 中有個兩個庫包含了 map 函數：multiprocessing 和它鮮為人知的子庫 multiprocessing.dummy.

這里多扯兩句：multiprocessing.dummy？mltiprocessing 庫的線程版克隆？這是蝦米？即便在 multiprocessing 庫的官方文檔里關于這一子庫也只有一句相關描述。而這句描述譯成人話基本就是說:"嘛，有這么個東西，你知道就成."相信我，這個庫被嚴重低估了！

dummy 是 multiprocessing 模塊的完整克隆，唯一的不同在于 multiprocessing 作用于進程，而 dummy 模塊作用于線程（因此也包括了 Python 所有常見的多線程限制）。?
所以替換使用這兩個庫異常容易。你可以針對 IO 密集型任務和 CPU 密集型任務來選擇不同的庫。

動手嘗試

使用下面的兩行代碼來引用包含并行化 map 函數的庫：

from multiprocessing import Pool from multiprocessing.dummy import Pool as ThreadPool

實例化 Pool 對象：

pool = ThreadPool()

這條簡單的語句替代了 example2.py 中 buildworkerpool 函數 7 行代碼的工作。它生成了一系列的 worker 線程并完成初始化工作、將它們儲存在變量中以方便訪問。

Pool 對象有一些參數，這里我所需要關注的只是它的第一個參數：processes. 這一參數用于設定線程池中的線程數。其默認值為當前機器 CPU 的核數。

一般來說，執行 CPU 密集型任務時，調用越多的核速度就越快。但是當處理網絡密集型任務時，事情有有些難以預計了，通過實驗來確定線程池的大小才是明智的。

pool = ThreadPool(4) # Sets the pool size to 4

線程數過多時，切換線程所消耗的時間甚至會超過實際工作時間。對于不同的工作，通過嘗試來找到線程池大小的最優值是個不錯的主意。

創建好 Pool 對象后，并行化的程序便呼之欲出了。我們來看看改寫后的 example2.py

import urllib2 from multiprocessing.dummy import Pool as ThreadPoolurls = [http://www.python.org ,http://www.python.org/about/ ,http://www.onlamp.com/pub/a/python/2003/04/17/metaclasses.html ,http://www.python.org/doc/ ,http://www.python.org/download/ ,http://www.python.org/getit/ ,http://www.python.org/community/ ,https://wiki.python.org/moin/ ,http://planet.python.org/ ,https://wiki.python.org/moin/LocalUserGroups ,http://www.python.org/psf/ ,http://docs.python.org/devguide/ ,http://www.python.org/community/awards/# etc..]# Make the Pool of workers pool = ThreadPool(4) # Open the urls in their own threads # and return the results results = pool.map(urllib2.urlopen, urls) #close the pool and wait for the work to finish pool.close() pool.join()

實際起作用的代碼只有 4 行，其中只有一行是關鍵的。map 函數輕而易舉的取代了前文中超過 40 行的例子。為了更有趣一些，我統計了不同方法、不同線程池大小的耗時情況。

# results = [] # for url in urls: # ? result = urllib2.urlopen(url) # ? results.append(result)# # ------- VERSUS ------- ## # ------- 4 Pool ------- # # pool = ThreadPool(4) # results = pool.map(urllib2.urlopen, urls)# # ------- 8 Pool ------- ## pool = ThreadPool(8) # results = pool.map(urllib2.urlopen, urls)# # ------- 13 Pool ------- ## pool = ThreadPool(13) # results = pool.map(urllib2.urlopen, urls)

結果：

# ? ? ? ?Single thread: ?14.4 Seconds # ? ? ? ? ? ? ? 4 Pool: ? 3.1 Seconds # ? ? ? ? ? ? ? 8 Pool: ? 1.4 Seconds # ? ? ? ? ? ? ?13 Pool: ? 1.3 Seconds

很棒的結果不是嗎？這一結果也說明了為什么要通過實驗來確定線程池的大小。在我的機器上當線程池大小大于 9 帶來的收益就十分有限了。

另一個真實的例子

生成上千張圖片的縮略圖?
這是一個 CPU 密集型的任務，并且十分適合進行并行化。

基礎單進程版本

上邊這段代碼的主要工作就是將遍歷傳入的文件夾中的圖片文件，一一生成縮略圖，并將這些縮略圖保存到特定文件夾中。

這我的機器上，用這一程序處理 6000 張圖片需要花費 27.9 秒。

如果我們使用 map 函數來代替 for 循環：

5.6 秒！

雖然只改動了幾行代碼，我們卻明顯提高了程序的執行速度。在生產環境中，我們可以為 CPU 密集型任務和 IO 密集型任務分別選擇多進程和多線程庫來進一步提高執行速度——這也是解決死鎖問題的良方。此外，由于 map 函數并不支持手動線程管理，反而使得相關的 debug 工作也變得異常簡單。

到這里，我們就實現了（基本）通過一行 Python 實現并行化。

?往期推薦?

????

可惜了！哈工大 2 名大四準畢業學生被開除，此前已拿到知名大廠Offer，好前途毀于一旦，原因令人哭笑不

Python+統計學 | 探索常用的數據分析統計分布

30位互聯網大佬，當年上了什么大學？

B站大佬開發的這款無障礙看片神器火了，我有一個大膽的想法...

最后說一個題外話，相信大家有不少人開通了視頻號。小詹也開通了一個視頻號，會分享互聯網那些事、讀書心得與副業經驗，歡迎各位掃描下方二維碼關注。

總結

以上是生活随笔為你收集整理的肝！一行 Python 代码实现并行的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：收藏 | 500页阿里、滴滴、快手等公司
下一篇：一文看懂Python的控制结构：for、