日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程语言 > python >内容正文

python

python不同文件函数调用_不同输入文件的多处理调用函数

發布時間:2025/3/15 python 32 豆豆
生活随笔 收集整理的這篇文章主要介紹了 python不同文件函数调用_不同输入文件的多处理调用函数 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

當進行多處理時,每個子進程都會獲得主模塊中在if __name__ == '__main__':語句之前定義的所有全局變量的副本。{{cdm>中訪問的每個進程都將是不同的。在

一種解決方法是使用共享列表,而共享列表又需要一個SyncManager來同步進程之間對共享資源的訪問(這是通過調用multiprocessing.Manager()創建的)。然后使用它創建一個列表,在下面的代碼中存儲結果(我將其命名為matches,而不是match)。在

我還必須使用functools.partial()創建一個可以從修改后的link_match函數中調用的單個參數,該函數現在接受兩個參數,而不是一個(這是pool.map()期望的那種)。在from functools import partial

import glob

import multiprocessing

def link_match(matches, file): # note: added results list argument

links = json.load(file)

for link in links:

try:

for other_link in other_links:

if link['data'] == other_link['data']:

matches.append(link)

else:

pass

else:

print "not found"

if __name__ == '__main__':

manager = multiprocessing.Manager() # create SyncManager

matches = manager.list() # create a shared list here

link_matches = partial(link_match, matches) # create one arg callable to

# pass to pool.map()

pool = multiprocessing.Pool(processes=6)

list_files = glob.glob("/path/*.json") # only used here

pool.map(link_matches, list_files) # apply partial to files list

pool.close()

pool.join()

print(matches)

總結

以上是生活随笔為你收集整理的python不同文件函数调用_不同输入文件的多处理调用函数的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。