python3.x pool.map方法的实质
我使用多進(jìn)程的一般方式,都是multiprocessing模塊中的Pool.map()方法。下面寫一個(gè)簡(jiǎn)單的示例和解析。至于此種方法使用多進(jìn)程的效率問題,還希望大佬予以指正。
示例:
""" 探索pool.map多進(jìn)程執(zhí)行方式的實(shí)質(zhì) """from multiprocessing import Pool from time import sleep from datetime import datetimeclass forMap:def __init__(self):self.name = '沒啥用的初始化'def forPrinit(self, i):sleep(i)print(i)return i ** 2基本的代碼已經(jīng)寫好,下面看看怎么使用多進(jìn)程去執(zhí)行。
執(zhí)行示例1:
''' 遇到問題沒人解答?小編創(chuàng)建了一個(gè)Python學(xué)習(xí)交流QQ群:531509025 尋找有志同道合的小伙伴,互幫互助,群里還有不錯(cuò)的視頻學(xué)習(xí)教程和PDF電子書! ''' if __name__ == '__main__':s = datetime.now()tt = forMap()# 進(jìn)程池中創(chuàng)建兩個(gè)進(jìn)程,調(diào)用計(jì)算機(jī)的兩個(gè)內(nèi)核去幫我做事。p = Pool(2)l = [2, 4, 6]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多進(jìn)程執(zhí)行時(shí)間:', e - s)運(yùn)行結(jié)果:
2 4 6 [4, 16, 36] 多進(jìn)程執(zhí)行時(shí)間: 0:00:08.191251由于在進(jìn)程池中創(chuàng)建了兩個(gè)進(jìn)程,所以代碼會(huì)調(diào)用計(jì)算機(jī)的兩個(gè)內(nèi)核。而列表l中的三個(gè)元素中的前兩個(gè)(“2”和“4”),會(huì)依次傳入函數(shù)中,由計(jì)算機(jī)內(nèi)核A和B去執(zhí)行。當(dāng)某一個(gè)內(nèi)核執(zhí)行完,會(huì)繼續(xù)接收下一個(gè)傳入?yún)?shù)“6”函數(shù)。而且內(nèi)核A執(zhí)行的函數(shù),只會(huì)sleep兩秒,所以,傳入?yún)?shù)“6”的函數(shù)會(huì)由內(nèi)核A去執(zhí)行。所以A一共執(zhí)行了2 + 6 為8秒,又由于是并行,所以總的執(zhí)行時(shí)間是8秒(多的那零點(diǎn)幾是初始化、賦值、打印等操作)。
執(zhí)行示例2:
''' 遇到問題沒人解答?小編創(chuàng)建了一個(gè)Python學(xué)習(xí)交流QQ群:531509025 尋找有志同道合的小伙伴,互幫互助,群里還有不錯(cuò)的視頻學(xué)習(xí)教程和PDF電子書! ''' if __name__ == '__main__':s = datetime.now()tt = forMap()# 進(jìn)程池中創(chuàng)建三個(gè)進(jìn)程p = Pool(3)l = [2, 4, 6]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多進(jìn)程執(zhí)行時(shí)間:', e - s)執(zhí)行結(jié)果:
2 4 6 [4, 16, 36] 多進(jìn)程執(zhí)行時(shí)間: 0:00:06.273263創(chuàng)建了三個(gè)進(jìn)程 ,并行執(zhí)行,所以執(zhí)行時(shí)間是6秒
執(zhí)行示例3:
''' 遇到問題沒人解答?小編創(chuàng)建了一個(gè)Python學(xué)習(xí)交流QQ群:531509025 尋找有志同道合的小伙伴,互幫互助,群里還有不錯(cuò)的視頻學(xué)習(xí)教程和PDF電子書! ''' if __name__ == '__main__':s = datetime.now()tt = forMap()# 進(jìn)程池中創(chuàng)建三個(gè)進(jìn)程p = Pool(3)l = [2, 4, 6, 8]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多進(jìn)程執(zhí)行時(shí)間:', e - s)執(zhí)行結(jié)果:
2 4 6 8 [4, 16, 36, 64] 多進(jìn)程執(zhí)行時(shí)間: 0:00:10.211451在列表中添加一個(gè)元素,首先內(nèi)核A、B、C分別執(zhí)行2, 4, 6。A先結(jié)束,所以8也會(huì)由A來執(zhí)行。
執(zhí)行示例4:
if __name__ == '__main__':s = datetime.now()tt = forMap()# 進(jìn)程池中創(chuàng)建三個(gè)進(jìn)程p = Pool(2)l = [2, 4, 8, 6]rList = p.map(tt.forTest, l)print(rList)p.close()p.join()e = datetime.now()print('多進(jìn)程執(zhí)行時(shí)間:', e - s)執(zhí)行結(jié)果:
2 4 8 6 [4, 16, 64, 36] 多進(jìn)程執(zhí)行時(shí)間: 0:00:10.200389還是創(chuàng)建兩個(gè)進(jìn)程,將列表中第3和第4個(gè)元素交換位置,執(zhí)行結(jié)果為10秒多,而且返回值也是交換過位置之后的,說明map方法中,可迭代對(duì)象傳入函數(shù)是從前到后逐個(gè)提取元素。
總結(jié)
以上是生活随笔為你收集整理的python3.x pool.map方法的实质的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 13道Python3实例
- 下一篇: python基础教程:装饰器