行人重识别综述
目錄
行人重識別系統
數據集
面臨挑戰
常用評價指標
rank-k
CMC曲線
mAP曲線
評價模式
single shot vs multi shot
single query vs multi query
行人重識別所用方法
傳統方法
深度學習方法
可視化
常用ReID代碼
定義
行人重識別(Person re-identification)也稱行人再識別, 被廣泛認為是一個圖像檢索的子問題, 是利用計算機視覺技術判斷圖像或者視頻中是否存在特定行人的技術, 即給定一個監控行人圖像檢索跨設備下的該行人圖像。行人重識別技術可以彌補目前固定攝像頭的視覺局限, 并可與行人檢測、行人跟蹤技術相結合, 應用于視頻監控、智能安防等領域。
應用
-
刑事偵查
-
行人理解
-
行人跟蹤
-
單攝像頭單目標
-
單攝像頭多目標
-
多攝像頭多目標
-
行人重識別系統
-
特征提取：學習能夠應對在不同攝像頭下行人變化的特征
-
度量學習：將學習到的特征映射到新的空間使相同的人更近不同的人更遠
-
圖像檢索：根據圖片特征之間的距離進行
數據集
數據集分為訓練集、驗證集、Query、Gallery
Query：測試時的基準圖片 Gallery：待檢測的圖片集合，從中選取與Query相似度高的
訓練、測試中人物身份不重復
-
單幀
-
CUHK03
-
Market1501
-
DukeMTMC-ReID
-
MSMT17
-
-
序列（圖片組成的軌跡，例如十張作為一個整體）
-
LPW
-
MARS
-
LVReID
-
數據集鏈接： Person Re-Identification Datasets
面臨挑戰
-
低分辨率
-
遮擋
-
視角、姿態變化
-
光照變化
-
視覺模糊性
類內差異大，類間差異小
常用評價指標
rank-k
rank-k：算法返回的排序列表中，前k位為存在檢索目標則稱為rank-k命中
?
CMC曲線
Cumulative Match Characteristic (CMC) curve:計算rank-k的擊中率，形成rank-acc的曲線
?
mAP曲線
mAP(mean average precision)：反應檢索的人在數據庫中所有正確的圖片排在排序列表前面的程度，能更加全面的衡量ReID算法的性能。
?
評價模式
single shot vs multi shot
Single shot是指gallery中每個人的圖像為一張（N=1），而multi shot是指gallery中每個人的圖像為N>1 張圖像。同樣的Rank-k下，一般N越大，得到的識別率越高。
?
single query vs multi query
Single query是指probe中每個人的圖像為一張（N=1），而multi query是指probe中每個人的圖像為N>1 張圖像，然后融合N張圖片的特征（最大池化或者平均池化）作為最終特征。同樣的Rank-k下，一般N越大，得到的識別率越高。
?
行人重識別所用方法
傳統方法
手工設計特征+距離度量
-
手工特征
-
顏色空間：RGB、HSV、LAB、XYZ、YCbCr、ELF、ELF16
-
紋理空間：LBP、Gabor
-
局部特征：SIFT、HOG、SURF
-
專用特征：LDFV、ColorInv、SDALP、LOMO
-
-
距離度量
-
常用距離：歐式距離、馬氏距離、余弦距離
-
度量學習：LFDA、MFA、LMNN、LADF、XQDA、KISSME
-
深度學習方法
-
基于表征學習的方法
-
基于度量學習的方法
-
基于局部特征的方法
-
基于視頻序列的方法
-
基于GAN網絡的方法
可視化
在特征空間進行可視化，外觀比較相似的人會形成聚類
?
常用ReID代碼
GitHub - zhunzhong07/IDE-baseline-Market-1501: ID-discriminative Embedding (IDE) for Person Re-identification GitHub - KaiyangZhou/deep-person-reid: Torchreid: Deep learning person re-identification in PyTorch. GitHub - huanghoujing/person-reid-triplet-loss-baseline: Rank-1 89% (Single Query) on Market1501 with raw triplet loss, In Defense of the Triplet Loss for Person Re-Identification, using Pytorch
總結
