Python threading Thread多线程的使用方法
Python threading Thread多線程的使用方法
參考資料:《Python 多線程》http://www.runoob.com/python/python-multithreading.html
目錄
Python threading Thread多線程的使用方法
1.使用Threading模塊創建線程
2.Thread線程同步
3.使用多線程讀取圖像并返回數據
1.使用Threading模塊創建線程
使用Threading模塊創建線程,直接從threading.Thread繼承,然后重寫__init__方法和run方法:
#!/usr/bin/python # -*- coding: UTF-8 -*-import threading import timeexitFlag = 0class myThread (threading.Thread): #繼承父類threading.Threaddef __init__(self, threadID, name, counter):threading.Thread.__init__(self)self.threadID = threadIDself.name = nameself.counter = counterdef run(self): #把要執行的代碼寫到run函數里面 線程在創建后會直接運行run函數 print "Starting " + self.nameprint_time(self.name, self.counter, 5)print "Exiting " + self.namedef print_time(threadName, delay, counter):while counter:if exitFlag:(threading.Thread).exit()time.sleep(delay)print "%s: %s" % (threadName, time.ctime(time.time()))counter -= 1# 創建新線程 thread1 = myThread(1, "Thread-1", 1) thread2 = myThread(2, "Thread-2", 2)# 開啟線程 thread1.start() thread2.start()print "Exiting Main Thread"以上程序執行結果如下;
Starting Thread-1 Starting Thread-2 Exiting Main Thread Thread-1: Thu Mar 21 09:10:03 2013 Thread-1: Thu Mar 21 09:10:04 2013 Thread-2: Thu Mar 21 09:10:04 2013 Thread-1: Thu Mar 21 09:10:05 2013 Thread-1: Thu Mar 21 09:10:06 2013 Thread-2: Thu Mar 21 09:10:06 2013 Thread-1: Thu Mar 21 09:10:07 2013 Exiting Thread-1 Thread-2: Thu Mar 21 09:10:08 2013 Thread-2: Thu Mar 21 09:10:10 2013 Thread-2: Thu Mar 21 09:10:12 2013 Exiting Thread-22.Thread線程同步
如果多個線程共同對某個數據修改,則可能出現不可預料的結果,為了保證數據的正確性,需要對多個線程進行同步。使用Thread對象的Lock和Rlock可以實現簡單的線程同步,這兩個對象都有acquire方法和release方法,對于那些需要每次只允許一個線程操作的數據,可以將其操作放到acquire和release方法之間。
多線程的優勢在于可以同時運行多個任務(至少感覺起來是這樣)。但是當線程需要共享數據時,可能存在數據不同步的問題。
考慮這樣一種情況:一個列表里所有元素都是0,線程"set"從后向前把所有元素改成1,而線程"print"負責從前往后讀取列表并打印。
那么,可能線程"set"開始改的時候,線程"print"便來打印列表了,輸出就成了一半0一半1,這就是數據的不同步。為了避免這種情況,引入了鎖的概念。
鎖有兩種狀態——鎖定和未鎖定。每當一個線程比如"set"要訪問共享數據時,必須先獲得鎖定;如果已經有別的線程比如"print"獲得鎖定了,那么就讓線程"set"暫停,也就是同步阻塞;等到線程"print"訪問完畢,釋放鎖以后,再讓線程"set"繼續。
經過這樣的處理,打印列表時要么全部輸出0,要么全部輸出1,不會再出現一半0一半1的尷尬場面。
# -*-coding: utf-8 -*- """@Project: cluster@File : thread_processing.py@Author : panjq@E-mail : pan_jinquan@163.com@Date : 2019-03-13 13:43:49 """ # !/usr/bin/python # -*- coding: UTF-8 -*-# !/usr/bin/python # -*- coding: UTF-8 -*-import threading import timeclass myThread(threading.Thread):def __init__(self, threadID, name, counter):threading.Thread.__init__(self)self.threadID = threadIDself.name = nameself.counter = counterdef run(self):print("Starting " + self.name)# 獲得鎖,成功獲得鎖定后返回True# 可選的timeout參數不填時將一直阻塞直到獲得鎖定# 否則超時后將返回FalsethreadLock.acquire()self.print_time(self.name, self.counter, 3)# 釋放鎖threadLock.release()def print_time(self,threadName, delay, counter):while counter:time.sleep(delay)print("%s: %s" % (threadName, time.ctime(time.time())))counter -= 1threadLock = threading.Lock() threads = []# 創建新線程 thread1 = myThread(1, "Thread-1", 1) thread2 = myThread(2, "Thread-2", 2)# 開啟新線程 thread1.start() thread2.start()# 添加線程到線程列表 threads.append(thread1) threads.append(thread2)# 等待所有線程完成 for t in threads:t.join() print("Exiting Main Thread")3.使用多線程讀取圖像并返回數據
下面是使用多線程的方法,實現讀取圖片的方法,注意這里增加了一個函數get_result,用于返回每個線程處理后的數據
其中file_processing和image_processing是本人包裝好的文件處理方法和圖像處理方法,具體實現的代碼,這里不貼出來了,源碼可查看:
file_processing:《Python常用的模塊的使用技巧》https://panjinquan.blog.csdn.net/article/details/80805807#file_processing.py
image_processing:《Python常用的模塊的使用技巧》https://panjinquan.blog.csdn.net/article/details/80805807#image_processing.py
# -*-coding: utf-8 -*- """@Project: cluster@File : thread_operate.py@Author : panjq@E-mail : pan_jinquan@163.com@Date : 2019-03-13 13:43:49 """from utils import file_processing,image_processing import threading import timethreadLock = threading.Lock()#創建線程鎖class FeatureThread(threading.Thread):def __init__(self, thread_id, func, args=()):''':param thread_id::param func::param args:'''threading.Thread.__init__(self)self.thread_id = thread_idself.func = funcself.args = argsdef run(self):print("Starting thread_id:{} ".format(self.thread_id))# 獲得鎖,成功獲得鎖定后返回True, 可選的timeout參數不填時將一直阻塞直到獲得鎖定, 否則超時后將返回False# threadLock.acquire() #線程加鎖self.result = self.func(*self.args)# threadLock.release()# 釋放鎖def get_result(self):try:return self.resultexcept Exception:return Nonedef test_fun(images_list):time.sleep(2)print(images_list)images=[]for filename in images_list:image = image_processing.read_image(filename, resize_height=224, resize_width=224, normalization=False)images.append(image)return imagesdef split_data_list(data_list, split_nums):''':param data_list: 數據列表:param split_nums: 將列表分成多少塊,注意split_nums塊必須小于data_list的長度:return: 返回data_list分塊后的索引'''data_size=len(data_list)if split_nums>data_size:print("illegal arguments,split_nums must be less than len(data_size)")exit(0)batch_index=[]for i in range(split_nums):start = int(data_size / split_nums * i)end = int(data_size / split_nums * (i + 1))if (i == split_nums - 1) :end = data_sizebatch_index.append((start,end))return batch_indexdef thread_test(images_list, nums_thread=4):thread_collection = []#創建線程容器# 創建新線程batch_index=split_data_list(images_list, split_nums=nums_thread)print("batch_index:{}".format(batch_index))for i in range(nums_thread):start,end=batch_index[i]batch_image_list=images_list[start:end]thread = FeatureThread(thread_id=i, func=test_fun, args=(batch_image_list,))thread.start() # 開啟新線程thread_collection.append(thread)# 添加線程到線程列表# 等待所有線程完成for thread in thread_collection:thread.join()batch_image=thread.get_result()image_processing.show_image(title="image",image=batch_image[0])print("Exiting Main Thread")if __name__=='__main__':image_dir="../dataset/test_images"images_list = file_processing.get_images_list(image_dir, postfix=['*.png', '*.JPG'])print(images_list)thread_test(images_list, nums_thread=4)?
總結
以上是生活随笔為你收集整理的Python threading Thread多线程的使用方法的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 使用自己的数据集训练MobileNet、
- 下一篇: Python多线程下载网络URL图片的方