代碼+權(quán)重文件+資源https://download.csdn.net/download/qq_39237205/43072746https://download.csdn.net/download/qq_39237205/43072746

環(huán)境要求：python2.7?

環(huán)境配置：見(jiàn)文末requirements.txt

1.YOLO.py

# encoding:utf-8 import imutils import time import cv2 import numpy as np from kalman import * import matplotlib.pyplot as plt#根據(jù)攝像頭的圖像尺寸進(jìn)行設(shè)置 line = [(0,150),(2560,150)] #車(chē)輛總數(shù) counter = 0 #正向車(chē)道的車(chē)輛數(shù) counter_up = 0 #逆向車(chē)道的車(chē)輛數(shù) counter_down = 0#創(chuàng)建跟蹤器的對(duì)象 tracker = Sort() memory = {}#線與線的碰撞檢測(cè)--二維叉乘的方法檢測(cè)兩個(gè)直線之間是否相交 # 計(jì)算叉乘符號(hào) def ccw(A, B, C):return (C[1] - A[1]) * (B[0] - A[0]) > (B[1] - A[1]) * (C[0] - A[0])# 檢測(cè)AB和CD兩條直線是否相交 def intersect(A, B, C, D):return ccw(A, C, D) != ccw(B, C, D) and ccw(A, B, C) != ccw(A, B, D)#利用yolov3模型進(jìn)行目標(biāo)檢測(cè) #加載模型相關(guān)信息 #加載可以檢測(cè)的目標(biāo)的類型#labelPath：類別標(biāo)簽文件的路徑 labelPath = "./yolo-coco/coco.names"# 加載類別標(biāo)簽文件 LABELS = open(labelPath).read().strip().split("\n")#生成多種不同的顏色的檢測(cè)框 用來(lái)標(biāo)注物體 np.random.seed(42) COLORS = np.random.randint(0,255,size=(200,3),dtype='uint8')#加載預(yù)訓(xùn)練的模型：權(quán)重 配置信息、進(jìn)行恢復(fù)模型 #weights_path：模型權(quán)重文件的路徑 weightsPath = "./yolo-coco/yolov3.weights" #configPath：模型配置文件的路徑 configPath = "./yolo-coco/yolov3.cfg"net = cv2.dnn.readNetFromDarknet(configPath,weightsPath) #獲取YOLO每一層的名稱 #getLayerNames（）：獲取網(wǎng)絡(luò)所有層的名稱。 ln = net.getLayerNames() # 獲取輸出層的名稱: [yolo-82,yolo-94,yolo-106] # getUnconnectedOutLayers（）：獲取輸出層的索引 ln = [ln[i[0] - 1] for i in net.getUnconnectedOutLayers()]#讀取視頻 vs = cv2.VideoCapture('input/test_1.mp4') #獲取寬和高 (W,H)=(None,None) writer = Nonetry:prop = cv2.cv.CV_CAP_PROP_Frame_COUNT if imutils.is_cv2() else cv2.CAP_PROP_FRAME_COUNT#獲取視頻的總幀數(shù)total = int(vs.get(prop))print("INFO:{} total Frame in video".format(total)) except:print("[INFO] could not determine in video")#遍歷每一幀的圖像 while True:#獲取幀的結(jié)果(grabed,frame)=vs.read()#如果沒(méi)有 則跳出循環(huán)if not grabed:breakif W is None or H is None:(H, W) = frame.shape[:2]# 將圖片構(gòu)建成一個(gè)blob，設(shè)置圖片尺寸，然后執(zhí)行一次前向傳播# YOLO前饋網(wǎng)絡(luò)計(jì)算，最終獲取邊界框和相應(yīng)概率blob = cv2.dnn.blobFromImage(frame,1/255.0,(416,416),swapRB=True,crop=False)#將blob送入網(wǎng)絡(luò)net.setInput(blob)start = time.time()#前向傳播，進(jìn)行預(yù)測(cè)，返回目標(biāo)框的邊界和響應(yīng)的概率layerOutouts = net.forward(ln)end = time.time()#存放目標(biāo)的檢測(cè)框boxes = []#置信度confidences = []#目標(biāo)類別classIDs = []# 迭代每個(gè)輸出層，總共三個(gè)for output in layerOutouts:#遍歷每個(gè)檢測(cè)結(jié)果for detection in output:# 提取類別ID和置信度#detction:1*85 [5:]表示類別，[0:4]bbox的位置信息 [5]置信度、可信度scores = detection[5:]classID = np.argmax(scores)confidence= scores[classID]# 只保留置信度大于某值的邊界框if confidence >0.3:# 將邊界框的坐標(biāo)還原至與原圖片相匹配，記住YOLO返回的是邊界框的中心坐標(biāo)以及邊界框的寬度和高度box = detection[0:4] * np.array([W, H, W, H])(centerX,centerY,width,height) = box.astype("int")# 計(jì)算邊界框的左上角位置x = int(centerX-width/2)y = int(centerY-height/2)# 更新目標(biāo)框，置信度（概率）以及類別boxes.append([x,y,int(width),int(height)])confidences.append(float(confidence))classIDs.append(classID)# 使用非極大值抑制方法抑制弱、重疊的目標(biāo)框idxs = cv2.dnn.NMSBoxes(boxes,confidences,0.5,0.3)#檢測(cè)框的結(jié)果:左上角坐標(biāo)、右下角坐標(biāo)dets = []# 確保至少有一個(gè)邊界框if len(idxs)>0:# 迭代每個(gè)邊界框for i in idxs.flatten():# 提取邊界框的坐標(biāo)if LABELS[classIDs[i]] == "car":(x,y)=(boxes[i][0],boxes[i][1])(w,h)=(boxes[i][2],boxes[i][3])cv2.rectangle(frame,(x,y),(x+w,y+h),(0,255,0),2)dets.append([x,y,x+w,y+h,confidences[i]])# 類型設(shè)置np.set_printoptions(formatter={'float': lambda x: "{0:0.3f}".format(x)})dets = np.asarray(dets)#SORT目標(biāo)跟蹤if np.size(dets) == 0:continueelse:tracks = tracker.update(dets)# 存放跟蹤框boxes = []#存儲(chǔ)置信度/可靠性indexIDs = []#上一幀的跟蹤結(jié)果previous = memory.copy()memory = {}for track in tracks:boxes.append([track[0],track[1],track[2],track[3]])indexIDs.append(int(track[4]))memory[indexIDs[-1]] = boxes[-1]#從SORT跟蹤框的結(jié)果中進(jìn)行碰撞檢測(cè)if len(boxes)>0:i = int(0)#遍歷跟蹤框for box in boxes:(x, y) = (int(box[0]), int(box[1])) #左上角坐標(biāo)(w, h) = (int(box[2]), int(box[3])) #寬高color = [int(c) for c in COLORS[indexIDs[i]%len(COLORS)]]cv2.rectangle(frame, (x, y), (w, h), color, 2)#根據(jù)在上一幀的檢測(cè)結(jié)果與當(dāng)前幀的檢測(cè)結(jié)果，利用虛擬線圈完成車(chē)輛的計(jì)數(shù)if indexIDs[i] in previous:previous_box = previous[indexIDs[i]]#上一幀圖像的左上角坐標(biāo)(x2,y2) = (int(previous_box[0]),int(previous_box[1]))# 上一幀圖像的寬高(w2,h2) = (int(previous_box[2]),int(previous_box[3]))#上一幀的中心點(diǎn)的坐標(biāo)p1 = (int(x2 + (w2 - x2) / 2), int(y2 + (h2 - y2) / 2))# 當(dāng)前幀的中心點(diǎn)的坐標(biāo)p0 = (int(x + (w - x) / 2), int(y + (h - y) / 2))# 利用p0,p1與line進(jìn)行碰撞檢測(cè)if intersect(p0, p1, line[0], line[1]):counter += 1# 判斷行進(jìn)方向if y2 > y:counter_down += 1else:counter_up += 1i += 1# 將車(chē)輛計(jì)數(shù)的相關(guān)結(jié)果放在視頻上print("將車(chē)輛計(jì)數(shù)的相關(guān)結(jié)果放在視頻上")cv2.line(frame, line[0], line[1], (0, 255, 0), 3)cv2.putText(frame, str(counter), (30, 80), cv2.FONT_HERSHEY_DUPLEX, 3.0, (255, 0, 0), 3)cv2.putText(frame, str(counter_up), (130, 80), cv2.FONT_HERSHEY_DUPLEX, 3.0, (0, 255, 0), 3)cv2.putText(frame, str(counter_down), (230, 80), cv2.FONT_HERSHEY_DUPLEX, 3.0, (0, 0, 255), 3)# 將檢測(cè)結(jié)果保存在視頻 # 未設(shè)置視頻的編解碼信息時(shí)，執(zhí)行以下代碼if writer is None:# 設(shè)置編碼格式fourcc = cv2.VideoWriter_fourcc(*"mp4v")# 視頻信息設(shè)置writer = cv2.VideoWriter("./output/output.mp4",fourcc,30,(frame.shape[1], frame.shape[0]),True)# 將處理后的幀寫(xiě)入到視頻中print ("將處理后的幀寫(xiě)入到視頻中")writer.write(frame)# 顯示當(dāng)前幀的結(jié)果cv2.imshow("", frame)# 按下q鍵退出if cv2.waitKey(1) & 0xFF == ord('q'):break# "釋放資源" writer.release() vs.release() cv2.destroyAllWindows()

2.kalman.py

# encoding:utf-8 from __future__ import print_function # from numba import jit import numpy as np from scipy.optimize import linear_sum_assignment from filterpy.kalman import KalmanFilter#計(jì)算IOU（交并比） # @jit def iou(bb_test,bb_gt):"""在兩個(gè)box間計(jì)算IOU:param bb_test: box1 = [x1,y1,x2,y2] 左上角坐標(biāo):param bb_gt: box2 = [x1,y1,x2,y2] 右下角坐標(biāo):return: 交并比IOU"""#在兩個(gè)box間的左上角坐標(biāo)的最大值xx1 = np.maximum(bb_test[0],bb_gt[0])#左上角坐標(biāo)x的最大值yy1 = np.maximum(bb_test[1],bb_gt[1])#左上角坐標(biāo)y的最大值#在兩個(gè)box間的右下角坐標(biāo)的最小值xx2 = np.minimum(bb_test[2],bb_gt[2])#右下角坐標(biāo)x的最小值yy2 = np.minimum(bb_test[3],bb_test[3])#右下角坐標(biāo)y的最小值#交的寬高w = np.maximum(0,xx2-xx1)h = np.maximum(0,yy2-yy1)#交的面積wh = w*h#并的面積s = ((bb_test[2] - bb_test[0]) * (bb_test[3] - bb_test[1])+ (bb_gt[2] - bb_gt[0]) * (bb_gt[3] - bb_gt[1]) - wh)#計(jì)算IOU并且返回IOUo_rate = wh/sreturn o_rate#左上角坐標(biāo)[x1,y1]和右下角坐標(biāo)[x2,y2], #將候選框從坐標(biāo)形式[x1,y1,x2,y2]轉(zhuǎn)換為中心點(diǎn)坐標(biāo)和面積的形式[x,y,s,r] #其中x，y是框的中心坐標(biāo)，s是面積，尺度，r是寬高比 def convert_bbox_to_z(bbox):"""將[x1,y1,x2,y2]形式的檢測(cè)框轉(zhuǎn)為濾波器的狀態(tài)表示形式[x,y,s,r]。其中x，y是框的中心坐標(biāo)，s是面積，尺度，r是寬高比:param bbox: [x1,y1,x2,y2] 分別是左上角坐標(biāo)和右下角坐標(biāo):return: [ x, y, s, r ] 4行1列，其中x,y是box中心位置的坐標(biāo)，s是面積，r是縱橫比w/h"""w = bbox[2] - bbox[0]#寬 x2-x1：#右下角的x坐標(biāo) - 左上角的x坐標(biāo) = 檢測(cè)框的寬h = bbox[3] - bbox[1]#高 y2-y1：#右下角的y坐標(biāo) - 左上角的y坐標(biāo) = 檢測(cè)框的高x = bbox[0] + w/2.0#檢測(cè)框的中心坐標(biāo)x: x1+(x2-x1)/2.0 #左上角的x坐標(biāo) + 寬/2 = 檢測(cè)框中心位置的x坐標(biāo)y = bbox[1] + h/2.0#檢測(cè)框的中心坐標(biāo)y: y1+(y2-y1)/2.0 #左上角的y坐標(biāo) + 高/2 = 檢測(cè)框中心位置的y坐標(biāo)s = w*h #檢測(cè)框的面積 #檢測(cè)框的寬 * 高 = 檢測(cè)框面積r = w/float(h) #檢測(cè)框的寬高比# 因?yàn)榭柭鼮V波器的輸入格式要求為4行1列，因此該[x, y, s, r]的形狀要轉(zhuǎn)換為4行1列再輸入到卡爾曼濾波器return np.array([x,y,s,r]).reshape([4,1]) #kalman需要四行一列的形式#將候選框從中心面積[x,y,s,r]的形式轉(zhuǎn)換成左上角坐標(biāo)和右下角坐標(biāo)[x1,y1,x2,y2]的形式 #即：將[cx，cy，s，r]的目標(biāo)框表示轉(zhuǎn)為[x_min，y_min，x_max，y_max]的形式 def convert_x_to_bbox(x,score=None):"""將[cx，cy，s，r]的目標(biāo)框表示轉(zhuǎn)為[x_min，y_min，x_max，y_max]的形式:param x:[ x, y, s, r ],其中x,y是box中心位置的坐標(biāo)，s是面積，r是縱橫比w/h:param score: 置信度:return:[x1,y1,x2,y2],左上角坐標(biāo)和右下角坐標(biāo)""""""x[2]：s是面積，原公式s的來(lái)源為s = w * h，即檢測(cè)框的寬 * 高 = 檢測(cè)框面積。x[3]：r是縱橫比w/h，原公式r的來(lái)源為r = w / float(h)，即檢測(cè)框的寬w / 高h(yuǎn) = 寬高比。x[2] * x[3]：s*r 即(w * h) * (w / float(h)) = w^2sqrt(x[2] * x[3])：sqrt(w^2) = w"""w = np.sqrt(x[2] * x[3]) #w =sqrt(s*r)=sqrt(s*w/h)=sqrt(w*h * w/h)=sqrt(w*w)h = x[2]/w #h =s/w =w*h/w =hx1 = x[0]-w/2.0 #左上角x坐標(biāo):x1 = x-w/2.0 #檢測(cè)框中心位置的x坐標(biāo) - 寬 / 2y1 = x[1]-h/2.0 #左上角y坐標(biāo):y1 = y-h/2.0 #檢測(cè)框中心位置的y坐標(biāo) - 高 / 2x2 = x[0]+w/2.0 #右下角x坐標(biāo):x2 = x+w/2.0 #檢測(cè)框中心位置的x坐標(biāo) + 寬 / 2y2 = x[1]+h/2.0 #右下角y坐標(biāo):y2 = y+h/2.0 #檢測(cè)框中心位置的y坐標(biāo) + 高 / 2if score is None:return np.array([x1,y1,x2,y2]).reshape((1,4))else:return np.array([x1,x1,x2,y2,score]).reshape((1,5))""" 卡爾曼濾波器進(jìn)行跟蹤的相關(guān)內(nèi)容的實(shí)現(xiàn)目標(biāo)估計(jì)模型：1.根據(jù)上一幀的目標(biāo)框結(jié)果來(lái)預(yù)測(cè)當(dāng)前幀的目標(biāo)框狀態(tài)，預(yù)測(cè)邊界框(目標(biāo)框)的模型定義為一個(gè)等速運(yùn)動(dòng)/勻速運(yùn)動(dòng)模型。2.每個(gè)目標(biāo)框都有對(duì)應(yīng)的一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)，KalmanBoxTracker類中的實(shí)例屬性專門(mén)負(fù)責(zé)記錄其對(duì)應(yīng)的一個(gè)目標(biāo)框中各種統(tǒng)計(jì)參數(shù)，并且使用類屬性負(fù)責(zé)記錄卡爾曼濾波器的創(chuàng)建個(gè)數(shù)，增加一個(gè)目標(biāo)框就增加一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)。 3.yoloV3、卡爾曼濾波器預(yù)測(cè)/更新流程步驟1.第一步：yoloV3目標(biāo)檢測(cè)階段：--> 1.檢測(cè)到目標(biāo)則創(chuàng)建檢測(cè)目標(biāo)鏈/跟蹤目標(biāo)鏈，反之檢測(cè)不到目標(biāo)則重新循環(huán)目標(biāo)檢測(cè)。--> 2.檢測(cè)目標(biāo)鏈/跟蹤目標(biāo)鏈不為空則進(jìn)入卡爾曼濾波器predict預(yù)測(cè)階段，反之為空則重新循環(huán)目標(biāo)檢測(cè)。2.第二步：卡爾曼濾波器predict預(yù)測(cè)階段：連續(xù)多次預(yù)測(cè)而不進(jìn)行一次更新操作，那么代表了每次預(yù)測(cè)之后所進(jìn)行的“預(yù)測(cè)目標(biāo)和檢測(cè)目標(biāo)之間的”相似度匹配都不成功，所以才會(huì)出現(xiàn)連續(xù)多次的“預(yù)測(cè)然后相似度匹配失敗的”情況，導(dǎo)致不會(huì)進(jìn)入一次更新階段。如果一次預(yù)測(cè)然后相似度匹配成功的話，那么然后就會(huì)進(jìn)入更新階段。--> 1.目標(biāo)位置預(yù)測(cè)1.kf.predict()：目標(biāo)位置預(yù)測(cè)2.目標(biāo)框預(yù)測(cè)總次數(shù)：age+=1。3.if time_since_update > 0:hit_streak = 0time_since_update += 11.連續(xù)預(yù)測(cè)的次數(shù)，每執(zhí)行predict一次即進(jìn)行time_since_update+=1。2.在連續(xù)預(yù)測(cè)(連續(xù)執(zhí)行predict)的過(guò)程中，一旦執(zhí)行update的話，time_since_update就會(huì)被重置為0。3.在連續(xù)預(yù)測(cè)(連續(xù)執(zhí)行predict)的過(guò)程中，只要連續(xù)預(yù)測(cè)的次數(shù)time_since_update大于0的話，就會(huì)把hit_streak(連續(xù)更新的次數(shù))重置為0，表示連續(xù)預(yù)測(cè)的過(guò)程中沒(méi)有出現(xiàn)過(guò)一次更新?tīng)顟B(tài)更新向量x(狀態(tài)變量x)的操作，即連續(xù)預(yù)測(cè)的過(guò)程中沒(méi)有執(zhí)行過(guò)一次update。4.在連續(xù)更新(連續(xù)執(zhí)行update)的過(guò)程中，一旦開(kāi)始連續(xù)執(zhí)行predict兩次或以上的情況下，當(dāng)連續(xù)第一次執(zhí)行predict時(shí)，因?yàn)閠ime_since_update仍然為0，并不會(huì)把hit_streak重置為0，然后才會(huì)進(jìn)行time_since_update+=1；當(dāng)連續(xù)第二次執(zhí)行predict時(shí)，因?yàn)閠ime_since_update已經(jīng)為1，那么便會(huì)把hit_streak重置為0，然后繼續(xù)進(jìn)行time_since_update+=1。--> 2.預(yù)測(cè)的目標(biāo)和檢測(cè)的目標(biāo)之間的相似度匹配成功則進(jìn)入update更新階段，反之匹配失敗則刪除跟蹤目標(biāo)。3.第三步：卡爾曼濾波器update更新階段：如果一次預(yù)測(cè)然后“預(yù)測(cè)目標(biāo)和檢測(cè)目標(biāo)之間的”相似度匹配成功的話，那么然后就會(huì)進(jìn)入更新階段。kf.update([x,y,s,r])：使用的是通過(guò)yoloV3得到的“并且和預(yù)測(cè)框相匹配的”檢測(cè)框來(lái)更新預(yù)測(cè)框。--> 1.目標(biāo)位置信息更新到檢測(cè)目標(biāo)鏈/跟蹤目標(biāo)鏈 1.目標(biāo)框更新總次數(shù)：hits+=1。2.history = []time_since_update = 0hit_streak += 11.history列表用于在預(yù)測(cè)階段保存單個(gè)目標(biāo)框連續(xù)預(yù)測(cè)的多個(gè)結(jié)果，一旦執(zhí)行update就會(huì)清空history列表。2.連續(xù)更新的次數(shù)，每執(zhí)行update一次即進(jìn)行hit_streak+=1。3.在連續(xù)預(yù)測(cè)(連續(xù)執(zhí)行predict)的過(guò)程中，一旦執(zhí)行update的話，time_since_update就會(huì)被重置為0。4.在連續(xù)預(yù)測(cè)(連續(xù)執(zhí)行predict)的過(guò)程中，只要連續(xù)預(yù)測(cè)的次數(shù)time_since_update大于0的話，就會(huì)把hit_streak(連續(xù)更新的次數(shù))重置為0，表示連續(xù)預(yù)測(cè)的過(guò)程中沒(méi)有出現(xiàn)過(guò)一次更新?tīng)顟B(tài)更新向量x(狀態(tài)變量x)的操作，即連續(xù)預(yù)測(cè)的過(guò)程中沒(méi)有執(zhí)行過(guò)一次update。5.在連續(xù)更新(連續(xù)執(zhí)行update)的過(guò)程中，一旦開(kāi)始連續(xù)執(zhí)行predict兩次或以上的情況下，當(dāng)連續(xù)第一次執(zhí)行predict時(shí)，因?yàn)閠ime_since_update仍然為0，并不會(huì)把hit_streak重置為0，然后才會(huì)進(jìn)行time_since_update+=1；當(dāng)連續(xù)第二次執(zhí)行predict時(shí)，因?yàn)閠ime_since_update已經(jīng)為1，那么便會(huì)把hit_streak重置為0，然后繼續(xù)進(jìn)行time_since_update+=1。--> 2.目標(biāo)位置修正。1.kf.update([x,y,s,r])：使用觀測(cè)到的目標(biāo)框bbox更新?tīng)顟B(tài)變量x(狀態(tài)更新向量x)。使用的是通過(guò)yoloV3得到的“并且和預(yù)測(cè)框相匹配的”檢測(cè)框來(lái)更新卡爾曼濾波器得到的預(yù)測(cè)框。1.初始化、預(yù)測(cè)、更新1.__init__(bbox)：初始化卡爾曼濾波器的狀態(tài)更新向量x(狀態(tài)變量x)、觀測(cè)輸入[x,y,s,r](通過(guò)[x1,y1,x2,y2]轉(zhuǎn)化而來(lái))、狀態(tài)轉(zhuǎn)移矩陣F、量測(cè)矩陣H(觀測(cè)矩陣H)、測(cè)量噪聲的協(xié)方差矩陣R、先驗(yàn)估計(jì)的協(xié)方差矩陣P、過(guò)程激勵(lì)噪聲的協(xié)方差矩陣Q。2.update(bbox)：根據(jù)觀測(cè)輸入來(lái)對(duì)狀態(tài)更新向量x(狀態(tài)變量x)進(jìn)行更新3.predict()：根據(jù)狀態(tài)更新向量x(狀態(tài)變量x)更新的結(jié)果來(lái)預(yù)測(cè)目標(biāo)的邊界框2.狀態(tài)變量、狀態(tài)轉(zhuǎn)移矩陣F、量測(cè)矩陣H(觀測(cè)矩陣H)、測(cè)量噪聲的協(xié)方差矩陣R、先驗(yàn)估計(jì)的協(xié)方差矩陣P、過(guò)程激勵(lì)噪聲的協(xié)方差矩陣Q1.狀態(tài)更新向量x(狀態(tài)變量x)狀態(tài)更新向量x(狀態(tài)變量x)的設(shè)定是一個(gè)7維向量：x=[u,v,s,r,u^,v^,s^]T。u、v分別表示目標(biāo)框的中心點(diǎn)位置的x、y坐標(biāo)，s表示目標(biāo)框的面積，r表示目標(biāo)框的縱橫比/寬高比。u^、v^、s^分別表示橫向u(x方向)、縱向v(y方向)、面積s的運(yùn)動(dòng)變化速率。u、v、s、r初始化：根據(jù)第一幀的觀測(cè)結(jié)果進(jìn)行初始化。u^、v^、s^初始化：當(dāng)?shù)谝粠_(kāi)始的時(shí)候初始化為0，到后面幀時(shí)會(huì)根據(jù)預(yù)測(cè)的結(jié)果來(lái)進(jìn)行變化。2.狀態(tài)轉(zhuǎn)移矩陣F定義的是一個(gè)7*7的方陣(其對(duì)角線上的值都是1)。。運(yùn)動(dòng)形式和轉(zhuǎn)換矩陣的確定都是基于勻速運(yùn)動(dòng)模型，狀態(tài)轉(zhuǎn)移矩陣F根據(jù)運(yùn)動(dòng)學(xué)公式確定，跟蹤的目標(biāo)假設(shè)為一個(gè)勻速運(yùn)動(dòng)的目標(biāo)。通過(guò)7*7的狀態(tài)轉(zhuǎn)移矩陣F 乘以 7*1的狀態(tài)更新向量x(狀態(tài)變量x)即可得到一個(gè)更新后的7*1的狀態(tài)更新向量x，其中更新后的u、v、s即為當(dāng)前幀結(jié)果。3.量測(cè)矩陣H(觀測(cè)矩陣H)量測(cè)矩陣H(觀測(cè)矩陣H)，定義的是一個(gè)4*7的矩陣。通過(guò)4*7的量測(cè)矩陣H(觀測(cè)矩陣H) 乘以 7*1的狀態(tài)更新向量x(狀態(tài)變量x) 即可得到一個(gè) 4*1的[u,v,s,r]的估計(jì)值。4.測(cè)量噪聲的協(xié)方差矩陣R、先驗(yàn)估計(jì)的協(xié)方差矩陣P、過(guò)程激勵(lì)噪聲的協(xié)方差矩陣Q1.測(cè)量噪聲的協(xié)方差矩陣R：diag([1,1,10,10]T)2.先驗(yàn)估計(jì)的協(xié)方差矩陣P：diag([10,10,10,10,1e4,1e4,1e4]T)。1e4：1x10的4次方。3.過(guò)程激勵(lì)噪聲的協(xié)方差矩陣Q：diag([1,1,1,1,0.01,0.01,1e-4]T)。1e-4：1x10的-4次方。4.1e數(shù)字的含義1e4：1x10的4次方1e-4：1x10的-4次方5.diag表示對(duì)角矩陣，寫(xiě)作為diag(a1，a2,...,an)的對(duì)角矩陣實(shí)際表示為主對(duì)角線上的值依次為a1，a2,...,an，而主對(duì)角線之外的元素皆為0的矩陣。對(duì)角矩陣(diagonal matrix)是一個(gè)主對(duì)角線之外的元素皆為0的矩陣，常寫(xiě)為diag（a1，a2,...,an) 。對(duì)角矩陣可以認(rèn)為是矩陣中最簡(jiǎn)單的一種，值得一提的是：對(duì)角線上的元素可以為 0 或其他值，對(duì)角線上元素相等的對(duì)角矩陣稱為數(shù)量矩陣；對(duì)角線上元素全為1的對(duì)角矩陣稱為單位矩陣。對(duì)角矩陣的運(yùn)算包括和、差運(yùn)算、數(shù)乘運(yùn)算、同階對(duì)角陣的乘積運(yùn)算，且結(jié)果仍為對(duì)角陣。 """ """ 1.跟蹤器鏈(列表)：實(shí)際就是多個(gè)的卡爾曼濾波KalmanBoxTracker自定義類的實(shí)例對(duì)象組成的列表。每個(gè)目標(biāo)框都有對(duì)應(yīng)的一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)，KalmanBoxTracker類中的實(shí)例屬性專門(mén)負(fù)責(zé)記錄其對(duì)應(yīng)的一個(gè)目標(biāo)框中各種統(tǒng)計(jì)參數(shù)，并且使用類屬性負(fù)責(zé)記錄卡爾曼濾波器的創(chuàng)建個(gè)數(shù)，增加一個(gè)目標(biāo)框就增加一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)。把每個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)都存儲(chǔ)到跟蹤器鏈(列表)中。 2.unmatched_detections(列表)：1.檢測(cè)框中出現(xiàn)新目標(biāo)，但此時(shí)預(yù)測(cè)框(跟蹤框)中仍不不存在該目標(biāo)，那么就需要在創(chuàng)建新目標(biāo)對(duì)應(yīng)的預(yù)測(cè)框/跟蹤框(KalmanBoxTracker類的實(shí)例對(duì)象)，然后把新目標(biāo)對(duì)應(yīng)的KalmanBoxTracker類的實(shí)例對(duì)象放到跟蹤器鏈(列表)中。2.同時(shí)如果因?yàn)椤案櫩蚝蜋z測(cè)框之間的”兩兩組合的匹配度IOU值小于iou閾值，則也要把目標(biāo)檢測(cè)框放到unmatched_detections中。 3.unmatched_trackers(列表)：1.當(dāng)跟蹤目標(biāo)失敗或目標(biāo)離開(kāi)了畫(huà)面時(shí)，也即目標(biāo)從檢測(cè)框中消失了，就應(yīng)把目標(biāo)對(duì)應(yīng)的跟蹤框(預(yù)測(cè)框)從跟蹤器鏈中刪除。unmatched_trackers列表中保存的正是跟蹤失敗即離開(kāi)畫(huà)面的目標(biāo)，但該目標(biāo)對(duì)應(yīng)的預(yù)測(cè)框/跟蹤框(KalmanBoxTracker類的實(shí)例對(duì)象)此時(shí)仍然存在于跟蹤器鏈(列表)中，因此就需要把該目標(biāo)對(duì)應(yīng)的預(yù)測(cè)框/跟蹤框(KalmanBoxTracker類的實(shí)例對(duì)象)從跟蹤器鏈(列表)中刪除出去。2.同時(shí)如果因?yàn)椤案櫩蚝蜋z測(cè)框之間的”兩兩組合的匹配度IOU值小于iou閾值，則也要把跟蹤目標(biāo)框放到unmatched_trackers中。 """#卡爾曼濾波：對(duì)于目標(biāo)框的狀態(tài)進(jìn)行預(yù)測(cè) class KalmanBoxTracker(object):"""每個(gè)目標(biāo)框都有對(duì)應(yīng)的一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)，KalmanBoxTracker類中的實(shí)例屬性專門(mén)負(fù)責(zé)記錄其對(duì)應(yīng)的一個(gè)目標(biāo)框中各種統(tǒng)計(jì)參數(shù)，并且使用類屬性負(fù)責(zé)記錄卡爾曼濾波器的創(chuàng)建個(gè)數(shù)，增加一個(gè)目標(biāo)框就增加一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)。"""#記錄跟蹤框的個(gè)數(shù)count = 0 #類屬性負(fù)責(zé)記錄卡爾曼濾波器的創(chuàng)建個(gè)數(shù)，增加一個(gè)目標(biāo)框就增加一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象"""__init__(bbox)使用目標(biāo)框bbox為卡爾曼濾波的狀態(tài)進(jìn)行初始化。初始化時(shí)傳入bbox，即根據(jù)觀測(cè)到的檢測(cè)框的結(jié)果來(lái)進(jìn)行初始化。每個(gè)目標(biāo)框都有對(duì)應(yīng)的一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)，KalmanBoxTracker類中的實(shí)例屬性專門(mén)負(fù)責(zé)記錄其對(duì)應(yīng)的一個(gè)目標(biāo)框中各種統(tǒng)計(jì)參數(shù)，并且使用類屬性負(fù)責(zé)記錄卡爾曼濾波器的創(chuàng)建個(gè)數(shù)，增加一個(gè)目標(biāo)框就增加一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)。1.kf = KalmanFilter(dim_x=7, dim_z=4)定義一個(gè)卡爾曼濾波器，利用這個(gè)卡爾曼濾波器對(duì)目標(biāo)的狀態(tài)進(jìn)行估計(jì)。dim_x=7定義是一個(gè)7維的狀態(tài)更新向量x(狀態(tài)變量x)：x=[u,v,s,r,u^,v^,s^]T。dim_z=4定義是一個(gè)4維的觀測(cè)輸入，即中心面積的形式[x,y,s,r]，即[檢測(cè)框中心位置的x坐標(biāo),y坐標(biāo),面積,寬高比]。2.kf.F = np.array(7*7的方陣)狀態(tài)轉(zhuǎn)移矩陣F，定義的是一個(gè)7*7的方陣其(對(duì)角線上的值都是1)。通過(guò)7*7的狀態(tài)轉(zhuǎn)移矩陣F 乘以 7*1的狀態(tài)更新向量x(狀態(tài)變量x)即可得到一個(gè)更新后的7*1的狀態(tài)更新向量x，其中更新后的u、v、s即為當(dāng)前幀結(jié)果。通過(guò)狀態(tài)轉(zhuǎn)移矩陣對(duì)當(dāng)前的觀測(cè)結(jié)果進(jìn)行估計(jì)獲得預(yù)測(cè)的結(jié)果，然后用當(dāng)前的預(yù)測(cè)的結(jié)果來(lái)作為下一次估計(jì)預(yù)測(cè)的基礎(chǔ)。3.kf.H = np.array(4*7的矩陣)量測(cè)矩陣H(觀測(cè)矩陣H)，定義的是一個(gè)4*7的矩陣。通過(guò)4*7的量測(cè)矩陣H(觀測(cè)矩陣H) 乘以 7*1的狀態(tài)更新向量x(狀態(tài)變量x) 即可得到一個(gè) 4*1的[u,v,s,r]的估計(jì)值。4.相應(yīng)的協(xié)方差參數(shù)的設(shè)定，根據(jù)經(jīng)驗(yàn)值進(jìn)行設(shè)定。1.R是測(cè)量噪聲的協(xié)方差矩陣，即真實(shí)值與測(cè)量值差的協(xié)方差。R=diag([1,1,10,10]T)kf.R[2:, 2:] *= 10.2.P是先驗(yàn)估計(jì)的協(xié)方差矩陣diag([10,10,10,10,1e4,1e4,1e4]T)。1e4：1x10的4次方。kf.P[4:, 4:] *= 1000. # 設(shè)置了一個(gè)較大的值，給無(wú)法觀測(cè)的初始速度帶來(lái)很大的不確定性kf.P *= 10.3.Q是過(guò)程激勵(lì)噪聲的協(xié)方差矩陣diag([1,1,1,1,0.01,0.01,1e-4]T)。1e-4：1x10的-4次方。kf.Q[-1, -1] *= 0.01kf.Q[4:, 4:] *= 0.015.kf.x[:4] = convert_bbox_to_z(bbox)convert_bbox_to_z負(fù)責(zé)將[x1,y1,x2,y2]形式的檢測(cè)框bbox轉(zhuǎn)為中心面積的形式[x,y,s,r]。狀態(tài)更新向量x(狀態(tài)變量x)設(shè)定是一個(gè)七維向量：x=[u,v,s,r,u^,v^,s^]T。x[:4]即表示 u、v、s、r初始化為第一幀bbox觀測(cè)到的結(jié)果[x,y,s,r]。6.單個(gè)目標(biāo)框?qū)?yīng)的單個(gè)卡爾曼濾波器中的統(tǒng)計(jì)參數(shù)的更新每個(gè)目標(biāo)框都有對(duì)應(yīng)的一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)，KalmanBoxTracker類中的實(shí)例屬性專門(mén)負(fù)責(zé)記錄其對(duì)應(yīng)的一個(gè)目標(biāo)框中各種統(tǒng)計(jì)參數(shù)，并且使用類屬性負(fù)責(zé)記錄卡爾曼濾波器的創(chuàng)建個(gè)數(shù)，增加一個(gè)目標(biāo)框就增加一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)。1.卡爾曼濾波器的個(gè)數(shù)有多少個(gè)目標(biāo)框就有多少個(gè)卡爾曼濾波器，每個(gè)目標(biāo)框都會(huì)有一個(gè)卡爾曼濾波器，即每個(gè)目標(biāo)框都會(huì)有一個(gè)KalmanBoxTracker實(shí)例對(duì)象。count = 0：類屬性負(fù)責(zé)記錄卡爾曼濾波器的創(chuàng)建個(gè)數(shù)，增加一個(gè)目標(biāo)框就增加一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象。id = KalmanBoxTracker.count：卡爾曼濾波器的個(gè)數(shù)，即目標(biāo)框的個(gè)數(shù)。KalmanBoxTracker.count += 1：每增加一個(gè)目標(biāo)框，即增加一個(gè)KalmanBoxTracker實(shí)例對(duì)象(卡爾曼濾波器)，那么類屬性count+=1。2.統(tǒng)計(jì)一個(gè)目標(biāo)框?qū)?yīng)的卡爾曼濾波器中各參數(shù)統(tǒng)計(jì)的次數(shù)1.age = 0：該目標(biāo)框進(jìn)行預(yù)測(cè)的總次數(shù)。每執(zhí)行predict一次，便age+=1。2.hits = 0：該目標(biāo)框進(jìn)行更新的總次數(shù)。每執(zhí)行update一次，便hits+=1。3.time_since_update = 01.連續(xù)預(yù)測(cè)的次數(shù)，每執(zhí)行predict一次即進(jìn)行time_since_update+=1。2.在連續(xù)預(yù)測(cè)(連續(xù)執(zhí)行predict)的過(guò)程中，一旦執(zhí)行update的話，time_since_update就會(huì)被重置為0。3.在連續(xù)預(yù)測(cè)(連續(xù)執(zhí)行predict)的過(guò)程中，只要連續(xù)預(yù)測(cè)的次數(shù)time_since_update大于0的話，就會(huì)把hit_streak(連續(xù)更新的次數(shù))重置為0，表示連續(xù)預(yù)測(cè)的過(guò)程中沒(méi)有出現(xiàn)過(guò)一次更新?tīng)顟B(tài)更新向量x(狀態(tài)變量x)的操作，即連續(xù)預(yù)測(cè)的過(guò)程中沒(méi)有執(zhí)行過(guò)一次update。4.hit_streak = 01.連續(xù)更新的次數(shù)，每執(zhí)行update一次即進(jìn)行hit_streak+=1。2.在連續(xù)更新(連續(xù)執(zhí)行update)的過(guò)程中，一旦開(kāi)始連續(xù)執(zhí)行predict兩次或以上的情況下，當(dāng)連續(xù)第一次執(zhí)行predict時(shí)，因?yàn)閠ime_since_update仍然為0，并不會(huì)把hit_streak重置為0，然后才會(huì)進(jìn)行time_since_update+=1；當(dāng)連續(xù)第二次執(zhí)行predict時(shí)，因?yàn)閠ime_since_update已經(jīng)為1，那么便會(huì)把hit_streak重置為0，然后繼續(xù)進(jìn)行time_since_update+=1。7.history = []：保存單個(gè)目標(biāo)框連續(xù)預(yù)測(cè)的多個(gè)結(jié)果到history列表中，一旦執(zhí)行update就會(huì)清空history列表。將預(yù)測(cè)的候選框從中心面積的形式[x,y,s,r]轉(zhuǎn)換為坐標(biāo)的形式[x1,y1,x2,y2] 的bbox 再保存到 history列表中。"""# 內(nèi)部使用KalmanFilter，7個(gè)狀態(tài)變量和4個(gè)觀測(cè)輸入def __init__(self,bbox):"""初始化邊界框和跟蹤器:param bbox:"""#等速模型#卡爾曼濾波：狀態(tài)轉(zhuǎn)移矩陣：7，觀測(cè)輸入矩陣:4self.kf = KalmanFilter(dim_x=7,dim_z=4) #初始化卡爾曼濾波器# F：狀態(tài)轉(zhuǎn)移/狀態(tài)變化矩陣 7*7 用當(dāng)前的矩陣預(yù)測(cè)下一次的估計(jì)self.kf.F = np.array([[1, 0, 0, 0, 1, 0, 0],[0, 1, 0, 0, 0, 1, 0],[0, 0, 1, 0, 0, 0, 1],[0, 0, 0, 1, 0, 0, 0],[0, 0, 0, 0, 1, 0, 0],[0, 0, 0, 0, 0, 1, 0],[0, 0, 0, 0, 0, 0, 1]])#H:量測(cè)矩陣/觀測(cè)矩陣：4*7self.kf.H = np.array([[1, 0, 0, 0, 0, 0, 0],[0, 1, 0, 0, 0, 0, 0],[0, 0, 1, 0, 0, 0, 0],[0, 0, 0, 1, 0, 0, 0]])#R:測(cè)量噪聲的協(xié)方差,即真實(shí)值與測(cè)量值差的協(xié)方差self.kf.R[2:,2:] *= 10#P:先驗(yàn)估計(jì)的協(xié)方差self.kf.P[4:,4:] *= 1000 #give high uncertainty to the unobservable initial velocities 對(duì)不可觀測(cè)的初始速度給予高度不確定性self.kf.P *= 10#Q:過(guò)程激勵(lì)噪聲的的協(xié)方差self.kf.Q[-1,-1] *= 0.01self.kf.Q[4:, 4:] *= 0.01#X:觀測(cè)結(jié)果、狀態(tài)估計(jì)self.kf.x[:4] = convert_bbox_to_z(bbox)#參數(shù)的更新self.time_since_update = 0self.id = KalmanBoxTracker.countKalmanBoxTracker.count += 1self.history=[]self.hits = 0self.hit_streak = 0self.age = 0"""update(bbox)：使用觀測(cè)到的目標(biāo)框bbox更新?tīng)顟B(tài)更新向量x(狀態(tài)變量x)1.time_since_update = 01.連續(xù)預(yù)測(cè)的次數(shù)，每執(zhí)行predict一次即進(jìn)行time_since_update+=1。2.在連續(xù)預(yù)測(cè)(連續(xù)執(zhí)行predict)的過(guò)程中，一旦執(zhí)行update的話，time_since_update就會(huì)被重置為0。2.在連續(xù)預(yù)測(cè)(連續(xù)執(zhí)行predict)的過(guò)程中，只要連續(xù)預(yù)測(cè)的次數(shù)time_since_update大于0的話，就會(huì)把hit_streak(連續(xù)更新的次數(shù))重置為0，表示連續(xù)預(yù)測(cè)的過(guò)程中沒(méi)有出現(xiàn)過(guò)一次更新?tīng)顟B(tài)更新向量x(狀態(tài)變量x)的操作，即連續(xù)預(yù)測(cè)的過(guò)程中沒(méi)有執(zhí)行過(guò)一次update。2.history = [] 清空history列表。history列表保存的是單個(gè)目標(biāo)框連續(xù)預(yù)測(cè)的多個(gè)結(jié)果([x,y,s,r]轉(zhuǎn)換后的[x1,y1,x2,y2])，一旦執(zhí)行update就會(huì)清空history列表。3.hits += 1：該目標(biāo)框進(jìn)行更新的總次數(shù)。每執(zhí)行update一次，便hits+=1。4.hit_streak += 11.連續(xù)更新的次數(shù)，每執(zhí)行update一次即進(jìn)行hit_streak+=1。2.在連續(xù)更新(連續(xù)執(zhí)行update)的過(guò)程中，一旦開(kāi)始連續(xù)執(zhí)行predict兩次或以上的情況下，當(dāng)連續(xù)第一次執(zhí)行predict時(shí)，因?yàn)閠ime_since_update仍然為0，并不會(huì)把hit_streak重置為0，然后才會(huì)進(jìn)行time_since_update+=1；當(dāng)連續(xù)第二次執(zhí)行predict時(shí)，因?yàn)閠ime_since_update已經(jīng)為1，那么便會(huì)把hit_streak重置為0，然后繼續(xù)進(jìn)行time_since_update+=1。5.kf.update(convert_bbox_to_z(bbox))convert_bbox_to_z負(fù)責(zé)將[x1,y1,x2,y2]形式的檢測(cè)框轉(zhuǎn)為濾波器的狀態(tài)表示形式[x,y,s,r]，那么傳入的為kf.update([x,y,s,r])。然后根據(jù)觀測(cè)結(jié)果修改內(nèi)部狀態(tài)x(狀態(tài)更新向量x)。使用的是通過(guò)yoloV3得到的“并且和預(yù)測(cè)框相匹配的”檢測(cè)框來(lái)更新卡爾曼濾波器得到的預(yù)測(cè)框。"""#使用觀測(cè)到的目標(biāo)框更新?tīng)顟B(tài)變量def update(self,bbox):"""使用觀察到的目標(biāo)框更新?tīng)顟B(tài)向量。filterpy.kalman.KalmanFilter.update 會(huì)根據(jù)觀測(cè)修改內(nèi)部狀態(tài)估計(jì)self.kf.x。重置self.time_since_update，清空self.history。:param bbox:目標(biāo)框:return:"""#重置部分參數(shù)self.time_since_update = 0#清空self.history = []#hitsself.hits += 1self.hit_streak += 1#根據(jù)觀測(cè)結(jié)果修改內(nèi)部狀態(tài)xself.kf.update(convert_bbox_to_z(bbox))"""predict：進(jìn)行目標(biāo)框的預(yù)測(cè)并返回預(yù)測(cè)的邊界框結(jié)果1.if(kf.x[6] + kf.x[2]) <= 0:self.kf.x[6] *= 0.0狀態(tài)更新向量x(狀態(tài)變量x)為[u,v,s,r,u^,v^,s^]T，那么x[6]為s^，x[2]為s。如果x[6]+x[2]<= 0，那么x[6] *= 0.0，即把s^置為0.0。2.kf.predict()進(jìn)行目標(biāo)框的預(yù)測(cè)。3.age += 1該目標(biāo)框進(jìn)行預(yù)測(cè)的總次數(shù)。每執(zhí)行predict一次，便age+=1。4.if time_since_update > 0:hit_streak = 0time_since_update += 11.連續(xù)預(yù)測(cè)的次數(shù)，每執(zhí)行predict一次即進(jìn)行time_since_update+=1。2.在連續(xù)預(yù)測(cè)(連續(xù)執(zhí)行predict)的過(guò)程中，一旦執(zhí)行update的話，time_since_update就會(huì)被重置為0。3.在連續(xù)預(yù)測(cè)(連續(xù)執(zhí)行predict)的過(guò)程中，只要連續(xù)預(yù)測(cè)的次數(shù)time_since_update大于0的話，就會(huì)把hit_streak(連續(xù)更新的次數(shù))重置為0，表示連續(xù)預(yù)測(cè)的過(guò)程中沒(méi)有出現(xiàn)過(guò)一次更新?tīng)顟B(tài)更新向量x(狀態(tài)變量x)的操作，即連續(xù)預(yù)測(cè)的過(guò)程中沒(méi)有執(zhí)行過(guò)一次update。4.在連續(xù)更新(連續(xù)執(zhí)行update)的過(guò)程中，一旦開(kāi)始連續(xù)執(zhí)行predict兩次或以上的情況下，當(dāng)連續(xù)第一次執(zhí)行predict時(shí)，因?yàn)閠ime_since_update仍然為0，并不會(huì)把hit_streak重置為0，然后才會(huì)進(jìn)行time_since_update+=1；當(dāng)連續(xù)第二次執(zhí)行predict時(shí)，因?yàn)閠ime_since_update已經(jīng)為1，那么便會(huì)把hit_streak重置為0，然后繼續(xù)進(jìn)行time_since_update+=1。5.history.append(convert_x_to_bbox(kf.x))convert_x_to_bbox(kf.x)：將目標(biāo)框所預(yù)測(cè)的結(jié)果從中心面積的形式[x,y,s,r] 轉(zhuǎn)換為 坐標(biāo)的形式[x1,y1,x2,y2] 的bbox。history列表保存的是單個(gè)目標(biāo)框連續(xù)預(yù)測(cè)的多個(gè)結(jié)果([x,y,s,r]轉(zhuǎn)換后的[x1,y1,x2,y2])，一旦執(zhí)行update就會(huì)清空history列表。6.predict 返回值：history[-1]把目標(biāo)框當(dāng)前該次的預(yù)測(cè)的結(jié)果([x,y,s,r]轉(zhuǎn)換后的[x1,y1,x2,y2])進(jìn)行返回輸出。"""#進(jìn)行目標(biāo)框的預(yù)測(cè)：推進(jìn)狀態(tài)變量并返回預(yù)測(cè)的邊界框結(jié)果def predict(self):"""推進(jìn)狀態(tài)向量并返回預(yù)測(cè)的邊界框估計(jì)。將預(yù)測(cè)結(jié)果追加到self.history。由于 get_state 直接訪問(wèn) self.kf.x，所以self.history沒(méi)有用到:return:"""#狀態(tài)變量if(self.kf.x[6] + self.kf.x[2]) <= 0:self.kf.x[6] *= 0# 進(jìn)行預(yù)測(cè)self.kf.predict()#卡爾曼濾波的預(yù)測(cè)次數(shù)self.age += 1#若過(guò)程中未進(jìn)行更新，則將hit_streak置為0if self.time_since_update > 0:self.hit_streak=0self.time_since_update += 1#將預(yù)測(cè)結(jié)果追加到hietory中self.history.append(convert_x_to_bbox(self.kf.x))return self.history[-1]"""get_state()：獲取當(dāng)前目標(biāo)框預(yù)測(cè)的結(jié)果([x,y,s,r]轉(zhuǎn)換后的[x1,y1,x2,y2])。return convert_x_to_bbox(kf.x)：將候選框從中心面積的形式[x,y,s,r] 轉(zhuǎn)換為 坐標(biāo)的形式[x1,y1,x2,y2] 的bbox并進(jìn)行返回輸出。直接訪問(wèn) kf.x并進(jìn)行返回，所以history沒(méi)有用到。"""#獲取到當(dāng)前的邊界框的預(yù)測(cè)結(jié)果def get_state(self):"""返回當(dāng)前邊界框估計(jì)值:return:"""return convert_x_to_bbox(self.kf.x)# 將YOLO模型的檢測(cè)框和卡爾曼濾波的跟蹤框進(jìn)行匹配def associate_detections_to_trackers(detections,trackers,iou_threshold=0.3):"""將檢測(cè)框bbox與卡爾曼濾波器的跟蹤框進(jìn)行關(guān)聯(lián)匹配:param detections:檢測(cè)框:param trackers:跟蹤框，即跟蹤目標(biāo):param iou_threshold:IOU閾值:return:跟蹤成功目標(biāo)的矩陣：matchs新增目標(biāo)的矩陣：unmatched_detections跟蹤失敗即離開(kāi)畫(huà)面的目標(biāo)矩陣：unmatched_trackers"""#跟蹤/檢測(cè)為0時(shí)：直接構(gòu)造返回結(jié)果if (len(trackers) == 0) or (len(detections) == 0):return np.empty((0, 2), dtype=int), np.arange(len(detections)), np.empty((0, 5), dtype=int)# 跟蹤/檢測(cè)不為0時(shí)：# iou 不支持?jǐn)?shù)組計(jì)算，故IOU 逐個(gè)進(jìn)行交并比計(jì)算，構(gòu)造矩陣scipy.linear_assignment進(jìn)行匹配iou_matrix = np.zeros((len(detections), len(trackers)), dtype=np.float32)# 遍歷目標(biāo)檢測(cè)的bbox集合，每個(gè)檢測(cè)框的標(biāo)識(shí)為dfor d,det in enumerate(detections):# 遍歷跟蹤框（卡爾曼濾波器預(yù)測(cè)）bbox集合，每個(gè)跟蹤框標(biāo)識(shí)為tfor t,trk in enumerate(trackers):iou_matrix[d,t] = iou(det,trk)#通過(guò)匈牙利算法(linear_assignment)將跟蹤框和檢測(cè)框以[[d,t]...]的二維矩陣的形式存儲(chǔ)在match_indices中result = linear_sum_assignment(-iou_matrix)#將匹配結(jié)果以 [[d,t]]的形式存儲(chǔ)匹配結(jié)果matched_indices = np.array(list(zip(*result)))#記錄未匹配的檢測(cè)框及跟蹤框#未匹配的檢測(cè)框放入unmatched_detections中，表示有新的目標(biāo)進(jìn)入畫(huà)面，要新增所要跟蹤的目標(biāo)序列unmatched_detections = []for d,det in enumerate(detections):if d not in matched_indices[:,0]:unmatched_detections.append(d)#未匹配的跟蹤框放入unmatched_trackers中，表示目標(biāo)離開(kāi)之前的畫(huà)面，應(yīng)刪除對(duì)應(yīng)的跟蹤器unmatched_trackers = []for t,trk in enumerate(trackers):if t not in matched_indices[:,1]:unmatched_trackers.append(t)#將匹配成功的跟蹤框放入matches中進(jìn)行存儲(chǔ)matches = []for m in matched_indices:# 過(guò)濾掉IOU低的匹配，將其放入到unmatched_detections和unmatched_trackersif iou_matrix[m[0], m[1]] < iou_threshold:unmatched_detections.append(m[0])unmatched_trackers.append(m[1])else:matches.append(m.reshape(1, 2))#格式轉(zhuǎn)換：初始化matchs,以np.array的形式返回if len(matches) == 0:matches = np.empty((0, 2), dtype=int)else:matches = np.concatenate(matches, axis=0)return matches, np.array(unmatched_detections),np.array(unmatched_trackers)""" 利用sort算法完成多目標(biāo)追蹤在這里我們主要實(shí)現(xiàn)了一個(gè)多目標(biāo)跟蹤器，管理多個(gè)卡爾曼濾波器對(duì)象，主要包括以下內(nèi)容：1.初始化：最大檢測(cè)數(shù)，目標(biāo)未被檢測(cè)的最大幀數(shù)2.目標(biāo)跟蹤結(jié)果的更新，即跟蹤成功和失敗的目標(biāo)的更新該方法實(shí)現(xiàn)了SORT算法，輸入是當(dāng)前幀中所有物體的檢測(cè)框的集合，包括目標(biāo)的score，輸出是當(dāng)前幀的跟蹤框集合，包括目標(biāo)的跟蹤的id要求是即使檢測(cè)框?yàn)榭?#xff0c;也必須對(duì)每一幀調(diào)用此方法，返回一個(gè)類似的輸出數(shù)組，最后一列是目標(biāo)對(duì)像的id。需要注意的是，返回的目標(biāo)對(duì)象數(shù)量可能與檢測(cè)框的數(shù)量不同。 """# 1.SORT目標(biāo)跟蹤： # 1.第一幀剛開(kāi)始時(shí)：對(duì)第一幀所有的檢測(cè)框生成對(duì)應(yīng)的新跟蹤框。 # 2.第二幀開(kāi)始到以后所有幀： # 上一幀成功跟蹤并且保留下來(lái)的的跟蹤框 在當(dāng)前幀中 進(jìn)行新一輪的預(yù)測(cè)新的跟蹤框， # 并且針對(duì)所預(yù)測(cè)的新跟蹤框和當(dāng)前幀中的檢測(cè)框進(jìn)行iou計(jì)算和使用匈牙利算法對(duì)該兩者進(jìn)行關(guān)聯(lián)匹配， # 通過(guò)上述操作后成功返回跟蹤目標(biāo)成功的跟蹤框(即和當(dāng)前幀中的目標(biāo)檢測(cè)框相匹配的跟蹤框)， # 并且另外發(fā)現(xiàn)了新出現(xiàn)目標(biāo)的檢測(cè)框、跟蹤目標(biāo)失敗的跟蹤框(即目標(biāo)離開(kāi)了畫(huà)面/兩者匹配度IOU值小于iou閾值)， # 那么首先使用當(dāng)前幀中的檢測(cè)框?qū)Α俺晒﹃P(guān)聯(lián)匹配的跟蹤框中的”狀態(tài)向量進(jìn)行更新， # 然后對(duì)新增目標(biāo)的檢測(cè)框生成對(duì)應(yīng)新的跟蹤框，最后把跟蹤目標(biāo)失敗的跟蹤框從跟蹤器鏈列表中移除出去。 # 2.傳入的檢測(cè)框dets：[檢測(cè)框的左上角的x/y坐標(biāo), 檢測(cè)框的右下角的x/y坐標(biāo), 檢測(cè)框的預(yù)測(cè)類別的概率值] # 3.返回值tracks： # 當(dāng)前幀中跟蹤目標(biāo)成功的跟蹤框/預(yù)測(cè)框的集合，包含目標(biāo)的跟蹤的id(也即該跟蹤框(卡爾曼濾波實(shí)例對(duì)象)是創(chuàng)建出來(lái)的第幾個(gè)) # 第一種返回值方案：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo), yolo識(shí)別目標(biāo)是某種物體的可信度, trk.id] ...] # 第二種返回值方案(當(dāng)前使用的為該種)：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo), trk.id] ...] # d：[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo)] # trk.id：卡爾曼濾波器的個(gè)數(shù)/目標(biāo)框的個(gè)數(shù)，也即該跟蹤框(卡爾曼濾波實(shí)例對(duì)象)是創(chuàng)建出來(lái)的第幾個(gè)。 #Sort多目標(biāo)跟蹤 管理多個(gè)卡爾曼濾波器 class Sort(object):"""Sort 是一個(gè)多目標(biāo)跟蹤器的管理類，管理多個(gè) 跟蹤器鏈中的多個(gè) KalmanBoxTracker 卡爾曼濾波對(duì)象"""#設(shè)置Sort算法的參數(shù)def __init__(self,max_age = 1,min_hits = 3):"""初始化：設(shè)置SORT算法的關(guān)鍵參數(shù):param max_age: 最大檢測(cè)數(shù)：目標(biāo)未被檢測(cè)到的幀數(shù)，超過(guò)之后會(huì)被刪除:param min_hits: 目標(biāo)命中的最小次數(shù)，小于該次數(shù)update函數(shù)不返回該目標(biāo)的KalmanBoxTracker卡爾曼濾波對(duì)象""""""max_age：跟蹤框的最大連續(xù)跟丟幀數(shù)。如果當(dāng)前跟蹤框連續(xù)N幀大于最大連續(xù)跟丟幀數(shù)的話，則從跟蹤器鏈中刪除該卡爾曼濾波對(duì)象的預(yù)測(cè)框(跟蹤框)。min_hits：跟蹤框連續(xù)成功跟蹤到目標(biāo)的最小次數(shù)(目標(biāo)連續(xù)命中的最小次數(shù))，也即跟蹤框至少需要連續(xù)min_hits次成功跟蹤到目標(biāo)。trackers：卡爾曼濾波跟蹤器鏈，存儲(chǔ)多個(gè) KalmanBoxTracker 卡爾曼濾波對(duì)象frame_count：當(dāng)前視頻經(jīng)過(guò)了多少幀的計(jì)數(shù)"""# 最大檢測(cè)數(shù)：目標(biāo)未被檢測(cè)到的幀數(shù)，超過(guò)之后會(huì)被刪self.max_age = max_age# 目標(biāo)連續(xù)命中的最小次數(shù)，小于該次數(shù)update函數(shù)不返回該目標(biāo)的KalmanBoxTracker卡爾曼濾波對(duì)象self.min_hits=min_hits# 卡爾曼濾波跟蹤器鏈，存儲(chǔ)多個(gè) KalmanBoxTracker 卡爾曼濾波對(duì)象self.trackers = []#幀計(jì)數(shù)self.frame_count = 0"""update(dets)：輸入dets：當(dāng)前幀中yolo所檢測(cè)出的所有目標(biāo)的檢測(cè)框的集合，包含每個(gè)目標(biāo)的score以[[x1,y1,x2,y2,score]，[x1,y1,x2,y2,score]，...]形式輸入的numpy.arrayx1、y1 代表檢測(cè)框的左上角坐標(biāo)；x2、y2代表檢測(cè)框的右上角坐標(biāo)；score代表檢測(cè)框?qū)?yīng)預(yù)測(cè)類別的概率值。輸出ret：當(dāng)前幀中跟蹤目標(biāo)成功的跟蹤框/預(yù)測(cè)框的集合，包含目標(biāo)的跟蹤的id(也即該跟蹤框(卡爾曼濾波實(shí)例對(duì)象)是創(chuàng)建出來(lái)的第幾個(gè))第一種返回值方案：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo), yolo識(shí)別目標(biāo)是某種物體的可信度, trk.id] ...]第二種返回值方案(當(dāng)前使用的為該種)：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo), trk.id] ...]d：[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo)]trk.id：卡爾曼濾波器的個(gè)數(shù)/目標(biāo)框的個(gè)數(shù)，也即該跟蹤框(卡爾曼濾波實(shí)例對(duì)象)是創(chuàng)建出來(lái)的第幾個(gè)。注意：即使檢測(cè)框?yàn)榭?#xff0c;也必須對(duì)每一幀調(diào)用此方法，返回一個(gè)類似的輸出數(shù)組，最后一列是目標(biāo)對(duì)像的id。返回的目標(biāo)對(duì)象數(shù)量可能與檢測(cè)框的數(shù)量不同。"""#更新數(shù)值def update(self,dets):"""該方法實(shí)現(xiàn)了SORT算法，輸入是當(dāng)前幀中所有物體的檢測(cè)框的集合，包括目標(biāo)的score,輸出是當(dāng)前幀目標(biāo)的跟蹤框集合，包括目標(biāo)的跟蹤的id要求是即使檢測(cè)框?yàn)榭?#xff0c;也必須對(duì)每一幀調(diào)用此方法，返回一個(gè)類似的輸出數(shù)組，最后一列是目標(biāo)對(duì)像的id注意：返回的目標(biāo)對(duì)象數(shù)量可能與檢測(cè)框的數(shù)量不同:param dets:以[[x1,y1,x2,y2,score]，[x1,y1,x2,y2,score]，...]形式輸入的numpy.array:return:"""""" 每經(jīng)過(guò)一幀，frame_count+=1"""self.frame_count +=1"""1.trackers：上一幀中的跟蹤器鏈(列表)，保存的是上一幀中成功跟蹤目標(biāo)的跟蹤框，也即上一幀中成功跟蹤目標(biāo)的KalmanBoxTracker卡爾曼濾波對(duì)象。2.trks = np.zeros((len(trackers), 5))上一幀中的跟蹤器鏈(列表)中的所有跟蹤框(卡爾曼濾波對(duì)象)在當(dāng)前幀中成功進(jìn)行predict預(yù)測(cè)新跟蹤框后返回的值。所有新跟蹤框的左上角的x坐標(biāo)和y坐標(biāo)、右下角的x坐標(biāo)和y坐標(biāo)、置信度 的一共5個(gè)值。1.因?yàn)橐婚_(kāi)始第一幀時(shí)，trackers跟蹤器鏈(列表)仍然為空，所以此時(shí)的trks初始化如下：np.zeros((0, 5)) 輸出值：array([], shape=(0, 5), dtype=float64)輸出值類型：<class 'numpy.ndarray'>2.np.zeros((len(trackers), 5)) 創(chuàng)建目的：1.用于存儲(chǔ)上一幀中的跟蹤器鏈中所有跟蹤框(KalmanBoxTracker卡爾曼濾波對(duì)象)在當(dāng)前幀中進(jìn)行predict預(yù)測(cè)新跟蹤框后返回的值，之所以創(chuàng)建的numpy數(shù)組的列數(shù)為5，是因?yàn)橐粋€(gè)跟蹤框在當(dāng)前幀中進(jìn)行predict預(yù)測(cè)新跟蹤框后返回的值為1行5列的矩陣，返回值分別為新跟蹤框的左上角的x坐標(biāo)和y坐標(biāo)、右下角的x坐標(biāo)和y坐標(biāo)、置信度 的一共5個(gè)值。2.如果是在視頻的第一幀中，那么因?yàn)楦櫰麈湶淮嬖谌魏胃櫩?KalmanBoxTracker卡爾曼濾波對(duì)象)，因此np.zeros((len(trackers), 5))創(chuàng)建的是空列表：array([], shape=(0, 5), dtype=float64)。3.trackers：跟蹤器鏈(列表)1.跟蹤器鏈中存儲(chǔ)了上一幀中成功跟蹤目標(biāo)并且在當(dāng)前幀中的預(yù)測(cè)框(跟蹤框)，同時(shí)也存儲(chǔ)了“為了當(dāng)前幀中的檢測(cè)框中的新增目標(biāo)所創(chuàng)建的”新預(yù)測(cè)框(新跟蹤框)，但是同時(shí)不存儲(chǔ)當(dāng)前幀中預(yù)測(cè)跟蹤失敗的預(yù)測(cè)框(跟蹤框)，同時(shí)也不存儲(chǔ)2.跟蹤器鏈實(shí)際就是多個(gè)的卡爾曼濾波KalmanBoxTracker自定義類的實(shí)例對(duì)象組成的列表。每個(gè)目標(biāo)框都有對(duì)應(yīng)的一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)，KalmanBoxTracker類中的實(shí)例屬性專門(mén)負(fù)責(zé)記錄其對(duì)應(yīng)的一個(gè)目標(biāo)框中各種統(tǒng)計(jì)參數(shù)，并且使用類屬性負(fù)責(zé)記錄卡爾曼濾波器的創(chuàng)建個(gè)數(shù)，增加一個(gè)目標(biāo)框就增加一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)。把每個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)都存儲(chǔ)到跟蹤器鏈(列表)中。"""# 存儲(chǔ)跟蹤器在當(dāng)前幀逐個(gè)預(yù)測(cè)軌跡位置，記錄狀態(tài)異常的跟蹤器索引# 根據(jù)當(dāng)前所有的卡爾曼跟蹤器個(gè)數(shù)（即上一幀中跟蹤的目標(biāo)個(gè)數(shù)）創(chuàng)建二維數(shù)組：行號(hào)為卡爾曼濾波器的標(biāo)識(shí)索引，列向量為跟蹤框的位置和ID# trks = np.zeros(len(self.trackers),5)#跟蹤器對(duì)當(dāng)前幀的圖像預(yù)測(cè)結(jié)果trks = np.zeros((len(self.trackers), 5))#跟蹤器對(duì)當(dāng)前幀的圖像預(yù)測(cè)結(jié)果""" to_del：存儲(chǔ)“跟蹤器鏈中某個(gè)要?jiǎng)h除的”KalmanBoxTracker卡爾曼濾波對(duì)象的索引 """to_del = []#存儲(chǔ)要?jiǎng)h除的目標(biāo)框ret = []#返回的跟蹤目標(biāo)#遍歷卡爾曼濾波器中的跟蹤框"""for t, trk in enumerate(ndarray類型的trks)t：為從0到列表長(zhǎng)度-1的索引值trk：ndarray類型的trks中每個(gè)(1, 5)形狀的一維數(shù)組"""""" 遍歷trks 用于存儲(chǔ)上一幀中的跟蹤器鏈中所有跟蹤框(KalmanBoxTracker卡爾曼濾波對(duì)象)在當(dāng)前幀中進(jìn)行predict預(yù)測(cè)新跟蹤框后返回的值 """for t,trk in enumerate(trks):""" 上一幀中的跟蹤器鏈中所有跟蹤框(KalmanBoxTracker卡爾曼濾波對(duì)象)在當(dāng)前幀中進(jìn)行predict預(yù)測(cè)新跟蹤框 """#使用卡爾曼跟蹤器t產(chǎn)生對(duì)應(yīng)目標(biāo)的跟蹤框，即對(duì)目標(biāo)進(jìn)行預(yù)測(cè)pos = self.trackers[t].predict()[0]""" 新跟蹤框的左上角的x坐標(biāo)和y坐標(biāo)、右下角的x坐標(biāo)和y坐標(biāo)、置信度 的一共5個(gè)值。trk中存儲(chǔ)了上一幀中目標(biāo)的跟蹤框在當(dāng)前幀中新的跟蹤框的信息值。"""# 遍歷完成后，trk中存儲(chǔ)了上一幀中跟蹤的目標(biāo)的預(yù)測(cè)結(jié)果的跟蹤框trk[:] = [pos[0],pos[1],pos[2],pos[3],0]""" 如果預(yù)測(cè)的新的跟蹤框的信息(1行5列一共5個(gè)值)中包含空值的話，則將該跟蹤框在跟蹤器鏈(列表)中的索引值t放到to_del列表中。使用np.any(np.isnan(pos))即能判斷這1行5列一共5個(gè)值是否包含空值。后面下一步將會(huì)根據(jù)to_del列表中保存的跟蹤框的索引值到跟蹤器鏈(列表)中將該跟蹤框從其中移除出去。"""#若預(yù)測(cè)結(jié)果pos中包含空值，添加到del中if np.any(np.isnan(pos)):to_del.append(t)""" np.ma.masked_invalid(跟蹤器鏈trks矩陣)：將會(huì)對(duì)跟蹤器鏈trks矩陣中出現(xiàn)了NaN或inf的某行進(jìn)行生成掩碼，用于屏蔽出現(xiàn)無(wú)效值該整行的跟蹤器框。np.ma.compress_rows(包含掩碼值的跟蹤器鏈trks矩陣)：將包含掩碼值的整行從中進(jìn)行移除出去。最終跟蹤器鏈trks矩陣：只包含“上一幀中的跟蹤器鏈中所有跟蹤框在當(dāng)前幀中成功進(jìn)行predict預(yù)測(cè)”的新跟蹤框。"""#trks中去除無(wú)效值的行，保存根據(jù)上一幀結(jié)果預(yù)測(cè)當(dāng)前幀的內(nèi)容# numpy.ma.masked_invalid 屏蔽出現(xiàn)無(wú)效值的數(shù)組（NaN 或 inf）# numpy.ma.compress_rows 壓縮包含掩碼值的2-D 數(shù)組的整行，將包含掩碼值的整行去除# trks中存儲(chǔ)了上一幀中跟蹤的目標(biāo)并且在當(dāng)前幀中的預(yù)測(cè)跟蹤框trks = np.ma.compress_rows(np.ma.masked_invalid(trks))"""1.for t in reversed(列表)：1.t：列表中的元素值2.要想從List列表中刪除任意索引位置的元素的話，必須不能從列表頭開(kāi)始遍歷刪除元素，必須從列表尾向列表頭的方向進(jìn)行遍歷刪除元素，因?yàn)槿绻麖牧斜眍^開(kāi)始遍歷刪除元素的話，便會(huì)導(dǎo)致后面的元素會(huì)移動(dòng)補(bǔ)充到被刪除元素的索引位置上，那么再向后進(jìn)行遍歷時(shí)便會(huì)出現(xiàn)漏遍歷的元素，也即防止破壞索引，因此刪除列表中元素時(shí)需要從列表尾向列表頭的方向進(jìn)行遍歷。2.for t in reversed(to_del)1.t：列表中的元素值2.此處to_del列表中的元素值保存的是trackers跟蹤器鏈(列表)中要?jiǎng)h除元素的索引值，因此從to_del列表的列表尾向列表頭的方向進(jìn)行遍歷出“trackers跟蹤器鏈(列表)中要?jiǎng)h除元素的”索引值。然后使用trackers.pop(t)根據(jù)trackers跟蹤器鏈(列表)中元素的索引值t自動(dòng)從列表中移除該元素。3.List pop()方法1.pop()方法語(yǔ)法：list.pop([index=-1])2.pop()函數(shù)用于移除列表中的一個(gè)元素（默認(rèn)最后一個(gè)元素），并且返回該元素的值。3.pop(可選參數(shù))中參數(shù)：可選參數(shù)，要移除列表元素的索引值，不能超過(guò)列表總長(zhǎng)度，默認(rèn)為 index=-1，刪除最后一個(gè)列表值。4.pop()返回值：該方法返回從列表中被移除的元素對(duì)象。5.pop(要移除的列表中元素的索引值)：根據(jù)列表中元素的索引值自動(dòng)從列表中移除"""#刪除nan的結(jié)果，逆向刪除異常的跟蹤器，防止破壞索引for t in reversed(to_del):"""根據(jù)to_del列表中保存的跟蹤框的索引值到跟蹤器鏈(列表)中將該跟蹤框從其中移除出去。trackers：上一幀中的跟蹤器鏈(列表)，保存的是上一幀中成功跟蹤目標(biāo)的跟蹤框，也即成功跟蹤目標(biāo)的KalmanBoxTracker卡爾曼濾波對(duì)象。trackers.pop(要移除的某個(gè)跟蹤框的索引值)：即能根據(jù)該索引值從跟蹤器鏈(列表)中把該跟蹤框移除出去"""# pop(要移除的列表中元素的索引值)：根據(jù)列表中元素的索引值自動(dòng)從列表中移除self.trackers.pop(t)"""matches：[[檢測(cè)框的索引值, 跟蹤框的索引值] [檢測(cè)框的索引值, 跟蹤框的索引值] 。。。]跟蹤成功并且兩兩匹配組合的IOU值大于iou閾值的檢測(cè)框和跟蹤框組成的矩陣unmatched_detections：[檢測(cè)框的索引值,。。。]1.新增目標(biāo)的檢測(cè)框在detections檢測(cè)框列表中的索引位置2.兩兩匹配組合的IOU值小于iou閾值的檢測(cè)框在detections檢測(cè)框列表中的索引位置unmatched_trackers：[跟蹤框的索引值,。。。]1.跟蹤失敗的跟蹤框/預(yù)測(cè)框在trackers跟蹤框列表中的索引位置2.兩兩匹配組合的IOU值小于iou閾值的跟蹤框/預(yù)測(cè)框在trackers跟蹤框列表中的索引位置1.matched：跟蹤成功目標(biāo)的矩陣。即前后幀都存在的目標(biāo)，并且匹配成功同時(shí)大于iou閾值。2.unmatched_detections(列表)：1.檢測(cè)框中出現(xiàn)新目標(biāo)，但此時(shí)預(yù)測(cè)框(跟蹤框)中仍不不存在該目標(biāo)，那么就需要在創(chuàng)建新目標(biāo)對(duì)應(yīng)的預(yù)測(cè)框/跟蹤框(KalmanBoxTracker類的實(shí)例對(duì)象)，然后把新目標(biāo)對(duì)應(yīng)的KalmanBoxTracker類的實(shí)例對(duì)象放到跟蹤器鏈(列表)中。2.同時(shí)如果因?yàn)椤案櫩蚝蜋z測(cè)框之間的”兩兩組合的匹配度IOU值小于iou閾值，則也要把目標(biāo)檢測(cè)框放到unmatched_detections中。3.unmatched_trackers(列表)：1.當(dāng)跟蹤目標(biāo)失敗或目標(biāo)離開(kāi)了畫(huà)面時(shí)，也即目標(biāo)從檢測(cè)框中消失了，就應(yīng)把目標(biāo)對(duì)應(yīng)的跟蹤框(預(yù)測(cè)框)從跟蹤器鏈中刪除。unmatched_trackers列表中保存的正是跟蹤失敗即離開(kāi)畫(huà)面的目標(biāo)，但該目標(biāo)對(duì)應(yīng)的預(yù)測(cè)框/跟蹤框(KalmanBoxTracker類的實(shí)例對(duì)象)此時(shí)仍然存在于跟蹤器鏈(列表)中，因此就需要把該目標(biāo)對(duì)應(yīng)的預(yù)測(cè)框/跟蹤框(KalmanBoxTracker類的實(shí)例對(duì)象)從跟蹤器鏈(列表)中刪除出去。2.同時(shí)如果因?yàn)椤案櫩蚝蜋z測(cè)框之間的”兩兩組合的匹配度IOU值小于iou閾值，則也要把跟蹤目標(biāo)框放到unmatched_trackers中。"""#使用匈牙利算法：將目標(biāo)檢測(cè)框和卡爾曼濾波器預(yù)測(cè)的跟蹤框進(jìn)行匹配，分別獲取跟蹤成功的目標(biāo)，新增的目標(biāo)，離開(kāi)畫(huà)面的目標(biāo)matched, unmatched_dets, unmatched_trks = associate_detections_to_trackers(dets, trks)"""for t, trk in enumerate(trackers列表)t：為從0到列表長(zhǎng)度-1的索引值trk：trackers列表中每個(gè)KalmanBoxTracker卡爾曼濾波對(duì)象"""#將跟蹤成功的目標(biāo)更新到對(duì)應(yīng)的卡爾曼濾波器for t,trk in enumerate(self.trackers):""" 1.trackers：上一幀中的跟蹤器鏈(列表)，保存的是上一幀中成功跟蹤目標(biāo)的跟蹤框，也即成功跟蹤目標(biāo)的KalmanBoxTracker卡爾曼濾波對(duì)象。2.for t, trk in enumerate(trackers)：遍歷上一幀中的跟蹤器鏈(列表)中從0到列表長(zhǎng)度-1的索引值t 和 每個(gè)KalmanBoxTracker卡爾曼濾波對(duì)象trk。3.if t not in unmatched_trks：如果上一幀中的跟蹤框(KalmanBoxTracker卡爾曼濾波對(duì))的索引值不在當(dāng)前幀中的unmatched_trackers(列表)中的話，即代表上一幀中的跟蹤框在當(dāng)前幀中成功跟蹤到目標(biāo)，并且代表了“上一幀中的跟蹤框在當(dāng)前幀中的”預(yù)測(cè)框和當(dāng)前幀中的檢測(cè)框的匹配度IOU值大于iou閾值。4.matched[:, 1]：獲取的是跟蹤框的索引值，即[[檢測(cè)框的索引值, 跟蹤框的索引值] 。。。]中的跟蹤框的索引值。5.np.where(matched[:, 1] == t)[0]：where返回的為符合條件的“[檢測(cè)框的索引值, 跟蹤框的索引值]”數(shù)組在matched矩陣中的索引值，即行值。因此最后使用[0]就是從array([索引值/行值])中把索引值/行值取出來(lái)。6.matched[索引值/行值, 0]：根據(jù)索引值/行值獲取出matched矩陣中的[檢測(cè)框的索引值, 跟蹤框的索引值]，然后獲取出第一列的“檢測(cè)框的索引值”。7.dets[d, :]：根據(jù)檢測(cè)框的索引值/行值從當(dāng)前幀中的dets檢測(cè)框列表獲取出該檢測(cè)框的所有列值，最終返回的是一個(gè)二維矩陣如下所示：第一種方案：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo), yolo識(shí)別目標(biāo)是某種物體的可信度]]第二種方案(當(dāng)前使用的為該種)：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo)]]8.dets[d, :][0]：獲取出[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo)]9.trk.update(檢測(cè)框的5個(gè)值的列表)：使用檢測(cè)框進(jìn)行更新?tīng)顟B(tài)更新向量x(狀態(tài)變量x)，也即使用檢測(cè)框更新跟蹤框。"""if t not in unmatched_trks:d = matched[np.where(matched[:, 1] == t)[0], 0]# 使用觀測(cè)的邊界框更新?tīng)顟B(tài)向量trk.update(dets[d, :][0])"""unmatched_detections(列表)保存了出現(xiàn)新目標(biāo)的檢測(cè)框的索引值，還保存了“因?yàn)楦櫩蚝蜋z測(cè)框之間的兩兩組合的匹配度IOU值小于iou閾值的”目標(biāo)檢測(cè)框的索引值。dets[i, :]：根據(jù)索引值從當(dāng)前幀中的檢測(cè)框列表dets中獲取對(duì)應(yīng)的檢測(cè)框，即該行的所有列值。該檢測(cè)框的值為：第一種方案：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo), yolo識(shí)別目標(biāo)是某種物體的可信度]]第二種方案(當(dāng)前使用的為該種)：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo)]]KalmanBoxTracker(dets[i, :])：傳入檢測(cè)框進(jìn)行創(chuàng)建該新目標(biāo)對(duì)應(yīng)的跟蹤框KalmanBoxTracker卡爾曼濾波對(duì)象trk。每個(gè)目標(biāo)框都有對(duì)應(yīng)的一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)，增加一個(gè)目標(biāo)框就增加一個(gè)卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象)。trackers.append(trk)：把新增的卡爾曼濾波器(KalmanBoxTracker實(shí)例對(duì)象trk)存儲(chǔ)到跟蹤器鏈(列表)trackers中"""#為新增目標(biāo)創(chuàng)建新的卡爾曼濾波器的跟蹤器for i in unmatched_dets:# trk = KalmanBoxTracker(dets[i,0])trk = KalmanBoxTracker(dets[i, :])self.trackers.append(trk)# 自后向前遍歷，僅返回在當(dāng)前幀出現(xiàn)且命中周期大于self.min_hits（除非跟蹤剛開(kāi)始）的跟蹤結(jié)果；如果未命中時(shí)間大于self.max_age則刪除跟蹤器。# hit_streak忽略目標(biāo)初始的若干幀""" i為trackers跟蹤器鏈(列表)長(zhǎng)度，從列表尾向列表頭的方向 每遍歷trackers跟蹤器鏈(列表)一次 即進(jìn)行 i-=1 """i = len(self.trackers)""" reversed逆向遍歷trackers跟蹤器鏈(列表)，目的為刪除列表中的元素的同時(shí)不會(huì)造成漏遍歷元素的問(wèn)題 """# 逆向遍歷for trk in reversed(self.trackers):""" (跟蹤框)KalmanBoxTracker卡爾曼濾波對(duì)象trk.get_state()：獲取跟蹤框所預(yù)測(cè)的在當(dāng)前幀中的預(yù)測(cè)結(jié)果（已經(jīng)從[x,y,s,r]轉(zhuǎn)換為[x1,y1,x2,y2]） [x1,y1,x2,y2]即為[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo)]。get_state()[0] 中使用[0] 是因?yàn)榉祷氐臑槎S矩陣如下： 第一種方案：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo), yolo識(shí)別目標(biāo)是某種物體的可信度]]第二種方案(當(dāng)前使用的為該種)：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo)]]"""#返回當(dāng)前邊界框的估計(jì)值d = trk.get_state()[0]"""1.trk.time_since_update < 1：1.time_since_update：記錄了該目標(biāo)對(duì)應(yīng)的卡爾曼濾波器中的預(yù)測(cè)框(跟蹤框)進(jìn)行連續(xù)預(yù)測(cè)的次數(shù)，每執(zhí)行predict一次即進(jìn)行time_since_update+=1。在連續(xù)預(yù)測(cè)(連續(xù)執(zhí)行predict)的過(guò)程中，一旦執(zhí)行update的話，time_since_update就會(huì)被重置為0。2. time_since_update < 1：該目標(biāo)對(duì)應(yīng)的卡爾曼濾波器一旦update更新的話該變量值便重置為0，因此要求該目標(biāo)對(duì)應(yīng)的卡爾曼濾波器必須執(zhí)行update更新步驟。update更新代表了使用檢測(cè)框來(lái)更新?tīng)顟B(tài)更新向量x(狀態(tài)變量x)的操作，實(shí)際即代表了使用“通過(guò)yoloV3得到的并且和預(yù)測(cè)框(跟蹤框)相匹配的”檢測(cè)框來(lái)更新該目標(biāo)對(duì)應(yīng)的卡爾曼濾波器中的預(yù)測(cè)框(跟蹤框)。2.trk.hit_streak >= min_hits：1.hit_streak1.連續(xù)更新的次數(shù)，每執(zhí)行update一次即進(jìn)行hit_streak+=1。2.在連續(xù)更新(連續(xù)執(zhí)行update)的過(guò)程中，一旦開(kāi)始連續(xù)執(zhí)行predict兩次或以上的情況下，當(dāng)連續(xù)第一次執(zhí)行predict時(shí)，因?yàn)閠ime_since_update仍然為0，并不會(huì)把hit_streak重置為0，然后才會(huì)進(jìn)行time_since_update+=1；當(dāng)連續(xù)第二次執(zhí)行predict時(shí)，因?yàn)閠ime_since_update已經(jīng)為1，那么便會(huì)把hit_streak重置為0，然后繼續(xù)進(jìn)行time_since_update+=1。 2.min_hits跟蹤框連續(xù)成功跟蹤到目標(biāo)的最小次數(shù)，也即跟蹤框至少需要連續(xù)min_hits次成功跟蹤到目標(biāo)。3.hit_streak >= min_hits跟蹤框連續(xù)更新的次數(shù)hit_streak必須大于等于min_hits。而小于該min_hits次數(shù)的話update函數(shù)不返回該目標(biāo)的KalmanBoxTracker卡爾曼濾波對(duì)象。3.frame_count <= min_hits：因?yàn)橐曨l的一開(kāi)始frame_count為0，而需要每經(jīng)過(guò)一幀frame_count才會(huì)+=1。因此在視頻的一開(kāi)始前N幀中，即使frame_count 小于等于min_hits 也可以。"""# 跟蹤成功目標(biāo)的box與id放入ret列表中if (trk.time_since_update < 1) and (trk.hit_streak >= self.min_hits or self.frame_count <= self.min_hits):""" 1.ret：當(dāng)前幀中跟蹤目標(biāo)成功的跟蹤框/預(yù)測(cè)框的集合，包含目標(biāo)的跟蹤的id(也即該跟蹤框(卡爾曼濾波實(shí)例對(duì)象)是創(chuàng)建出來(lái)的第幾個(gè))第一種返回值方案：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo), yolo識(shí)別目標(biāo)是某種物體的可信度, trk.id] ...]第二種返回值方案(當(dāng)前使用的為該種)：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo), trk.id] ...]d：[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo)]trk.id：卡爾曼濾波器的個(gè)數(shù)/目標(biāo)框的個(gè)數(shù)，也即該跟蹤框(卡爾曼濾波實(shí)例對(duì)象)是創(chuàng)建出來(lái)的第幾個(gè)。2.np.concatenate((d, [trk.id + 1])).reshape(1, -1)[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo), 該跟蹤框是創(chuàng)建出來(lái)的第幾個(gè)]]"""ret.append(np.concatenate((d, [trk.id + 1])).reshape(1, -1)) # +1 as MOT benchmark requires positive""" i為trackers跟蹤器鏈(列表)長(zhǎng)度，從列表尾向列表頭的方向 每遍歷trackers跟蹤器鏈(列表)一次 即進(jìn)行 i-=1 """i -= 1"""trk.time_since_update > max_age1.time_since_update：記錄了該目標(biāo)對(duì)應(yīng)的卡爾曼濾波器中的預(yù)測(cè)框(跟蹤框)進(jìn)行連續(xù)預(yù)測(cè)的次數(shù)，每執(zhí)行predict一次即進(jìn)行time_since_update+=1。在連續(xù)預(yù)測(cè)(連續(xù)執(zhí)行predict)的過(guò)程中，一旦執(zhí)行update的話，time_since_update就會(huì)被重置為0。2.max_age：最大跟丟幀數(shù)。如果當(dāng)前連續(xù)N幀大于最大跟丟幀數(shù)的話，則從跟蹤器鏈中刪除該卡爾曼濾波對(duì)象的預(yù)測(cè)框(跟蹤框)。3.time_since_update > max_age：每預(yù)測(cè)一幀time_since_update就會(huì)+=1，只有預(yù)測(cè)的跟蹤框跟蹤到目標(biāo)(即預(yù)測(cè)的跟蹤框和檢測(cè)框相似度匹配)才會(huì)執(zhí)行update更新，那么time_since_update才會(huì)被重置為0。那么當(dāng)連續(xù)time_since_update幀都沒(méi)有跟蹤到目標(biāo)的話，即當(dāng)連續(xù)time_since_update幀大于最大跟丟幀數(shù)時(shí)，那么就需要根據(jù)該跟蹤失敗的跟蹤器框的索引把該跟蹤器框從跟蹤器鏈(列表)trackers中進(jìn)行移除出去。"""# 跟蹤失敗或離開(kāi)畫(huà)面的目標(biāo)從卡爾曼跟蹤器中刪除if trk.time_since_update > self.max_age:"""trackers：上一幀中的跟蹤器鏈(列表)，保存的是上一幀中成功跟蹤目標(biāo)的跟蹤框，也即成功跟蹤目標(biāo)的KalmanBoxTracker卡爾曼濾波對(duì)象。trackers.pop(要移除的某個(gè)跟蹤框的索引值)：即能根據(jù)該索引值從跟蹤器鏈(列表)中把該跟蹤框移除出去"""# pop(要移除的列表中元素的索引值)：根據(jù)列表中元素的索引值自動(dòng)從列表中移除self.trackers.pop(i)# 返回當(dāng)前畫(huà)面中所有目標(biāo)的box與id,以二維矩陣形式返回if len(ret) > 0:""" ret：當(dāng)前幀中跟蹤目標(biāo)成功的跟蹤框/預(yù)測(cè)框的集合，包含目標(biāo)的跟蹤的id(也即該跟蹤框(卡爾曼濾波實(shí)例對(duì)象)是創(chuàng)建出來(lái)的第幾個(gè))第一種返回值方案：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo), yolo識(shí)別目標(biāo)是某種物體的可信度, trk.id] ...]第二種返回值方案(當(dāng)前使用的為該種)：[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo), trk.id] ...]d：[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo)]trk.id：卡爾曼濾波器的個(gè)數(shù)/目標(biāo)框的個(gè)數(shù)，也即該跟蹤框(卡爾曼濾波實(shí)例對(duì)象)是創(chuàng)建出來(lái)的第幾個(gè)。[[左上角的x坐標(biāo), 左上角的x坐標(biāo)y坐標(biāo), 右下角的x坐標(biāo), 右下角的y坐標(biāo), yolo識(shí)別目標(biāo)是某種物體的可信度, 該跟蹤框是創(chuàng)建出來(lái)的第幾個(gè)] [...][...]]"""return np.concatenate(ret)return np.empty((0, 5))

3.環(huán)境配置?requirements.txt

amqp==2.5.2 billiard==3.6.3.0 celery==4.4.2 certifi==2019.11.28 chardet==3.0.4 click==7.1.1 colorama==0.3.9 cycler==0.10.0 Cython==0.29.19 decorator==4.4.2 Django==2.2.10 django-redis==4.11.0 filterpy==1.4.5 fire==0.1.3 Flask==1.1.1 h5py==2.8.0 idna==2.8 imageio==2.8.0 imageio-ffmpeg==0.4.1 importlib-metadata==1.6.0 imutils==0.5.3 itsdangerous==1.1.0 Jinja2==2.11.1 Kalman==0.1.3 kiwisolver==1.1.0 kombu==4.6.8 llvmlite==0.31.0 MarkupSafe==1.1.1 matplotlib==2.2.3 moviepy==1.0.1 numba==0.39.0 numpy==1.15.4 opencv-python==3.4.3.18 pandas==0.23.4 Pillow==7.0.0 proglog==0.1.9 protobuf==3.11.3 pyparsing==2.4.6 python-dateutil==2.8.1 pytz==2019.3 redis==3.4.1 requests==2.21.0 scipy==1.1.0 six==1.14.0 sqlparse==0.3.1 tensorboardX==1.6 torch==0.4.1 torchvision==0.2.1 tqdm==4.29.1 urllib3==1.24.3 vine==1.3.0 Werkzeug==1.0.0 zipp==3.1.0

總結(jié)

以上是生活随笔為你收集整理的智慧交通day02-车流量检测实现14：代码汇总+问题修正的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。