論文題目：

Simulating Content Consistent Vehicle Datasets with Attribute Descent

論文地址：

https://arxiv.org/pdf/1912.08855.pdf

論文代碼：

https://github.com/yorkeyao/VehicleX

VehicleX數(shù)據(jù)集：

https://github.com/yorkeyao/VehicleX

本文介紹一篇我們發(fā)表于ECCV 2020的論文 《Simulating Content Consistent Vehicle Datasets with Attribute Descent》 。這篇文章主要介紹了澳大利亞國立大學和英偉達推出的VehicleX數(shù)據(jù)集，是目前用于車輛重識別(vehicle re-ID)中最大的合成數(shù)據(jù)集，為CVPR 2020 aicity challenge 提供了源數(shù)據(jù)。VehicleX的3D模型，生成的圖片，引擎及其源代碼均已開源。

視頻介紹:

數(shù)據(jù)在深度學習的時代越來越被重視，但是一直以來如何獲取大量的數(shù)據(jù)是一個難題，數(shù)據(jù)的隱私安全和標注的復雜性是問題的重點。在這個問題上，合成數(shù)據(jù)有先天的優(yōu)勢。首先合成數(shù)據(jù)不涉及具體某個人物的信息，因此不會有隱私的問題。其次，合成數(shù)據(jù)自帶標注，所以不存在人工標注的問題。

但是，一直以來，合成數(shù)據(jù)的使用存在著瓶頸。合成數(shù)據(jù)是人工合成的。換句話說，整個合成數(shù)據(jù)的環(huán)境都需要人去決定。這雖然為合成數(shù)據(jù)提供了很大的自由度，但如果生成合成數(shù)據(jù)的方式不合理，合成數(shù)據(jù)的質(zhì)量會和我們期望的差距甚遠。所以，評價一個合成數(shù)據(jù)合適不合適，首先要看這個數(shù)據(jù)集和我們的目標數(shù)據(jù)集是不是‘看起來’相似。

這種讓數(shù)據(jù)集‘看起來’相似的任務，被叫做領(lǐng)域適應(domain adaptation)。上圖是兩個domain adaptation的示例。第1行顯示具有不同前景和背景的數(shù)字分類數(shù)據(jù)集。第2行是人群計數(shù)數(shù)據(jù)集，左邊是合成數(shù)據(jù)，右邊是真實數(shù)據(jù)集。在這兩種情況下，源域和目標域之間的domain gap都很大。所以在這種情況下，在源域上訓練的模型可能在目標域上表現(xiàn)不佳。

許多研究都集中在通過圖像風格遷移(例如紋理，照明和分辨率等)來彌合domain gap。在這里，我們展示了一些風格遷移的例子。第一排是從GTA5數(shù)據(jù)集的風格到cityscape的風格，第二排是從VehicleX數(shù)據(jù)集的風格到VeRi數(shù)據(jù)集的風格。我們可以看到這些方法會稍微改變圖像(如紋理，光線強度等)，但是這些方法無法改變內(nèi)容上的差異，例如在第一排的例子中建筑物的密度，遮擋的程度和第二排例子中車輛的方向。

在本文中，我們主要研究車輛re-ID的任務。所以，我們現(xiàn)在抽象出來的研究問題就是，當我們把合成數(shù)據(jù)作為源域，真實數(shù)據(jù)集作為目標域的時候，如何彌補這種領(lǐng)域差距？

例如，圖片右側(cè)是VehicleID數(shù)據(jù)集中的圖片，左側(cè)是隨機初始化的合成數(shù)據(jù)集。除了合成數(shù)據(jù)和目標數(shù)據(jù)的圖片風格不一樣之外，在VehicleID數(shù)據(jù)集中，很清楚的能夠看到車輛的朝向和相機的位置都是固定的，在這個攝像頭視角下，我們只能看到車頭和車尾。那么，如果我們希望一個深度學習模型，能夠在VehicleID數(shù)據(jù)集上表現(xiàn)的好的話，那么這個模型的訓練數(shù)據(jù)，應該也主要包括車頭和車尾。換句話說，合成數(shù)據(jù)集和我們的目標數(shù)據(jù)集，在車輛的朝向上，應該有相似的分布。

所以我們主要去研究內(nèi)容層面上的domain gap(content level domain adaptation)。在vehicle re-ID任務中，內(nèi)容被定義為車輛朝向，相機高度，光照強度等。因為這些內(nèi)容因素會對re-ID模型的性能造成很大影響。

我們提出了一個大型的3D合成數(shù)據(jù)集VehicleX。其中各個3D模型都有現(xiàn)實世界的車型對應。整個數(shù)據(jù)集有1362個id，其中包括11種主流車型。上圖顯示了16種不同的車輛id。同時，我們也為VehicleX制作了一個demo。這個demo中隨機挑選了1362id中的69個id。同時對于VehicleX，我們詳細標注了車輛的車型和顏色。我們也放出了這些車輛的3D模型，可以導入到unity，unreal和blender中。

為了實現(xiàn)content level domain adaptation，我們構(gòu)建了Unity-Python的交互接口，這個接口能讓我們對3D環(huán)境進行修改，并獲取渲染的圖像。在3D環(huán)境中，我們能夠調(diào)整車輛方向，光線方向和強度，相機高度以及相機與車輛之間的距離。同時我們也為合成數(shù)據(jù)添加了隨機的真實背景和遮擋物。

實際操作中，我們使用了高斯或高斯混合模型對屬性分布進行建模，并且提出了一種叫做attribute descent的方法來近似現(xiàn)實數(shù)據(jù)集中的屬性分布。工作流程如下所示:

給定一個屬性列表(角度，相機，光照)，我們使用渲染器進行車輛3D渲染。然后，計算合成數(shù)據(jù)和實際車輛之間的Frechet inception distance (FID)，FID是一個通用的domain gap的衡量指標，最早被用在gan生成圖片質(zhì)量的衡量。attribute descent是一個簡單有效的算法來迭代更新這些屬性值，從而在訓練迭代中使FID最小化。具體來說，我們逐一操縱VehicleX中的每個屬性，旨在最大程度地減少VehicleX與真實數(shù)據(jù)之間存在的domain gap。

從上圖可以看出，在attribute descent訓練過程中，FID不斷下降，同時unsupervised re-ID(VehicleX->VehicleID)的準確率(mAP)不斷提高。同時，如上圖右側(cè)，VechileX的數(shù)據(jù)(B)和VehicleID的(C)數(shù)據(jù)在外觀上越來越相近。

同時，VehicleX的數(shù)據(jù)也可與現(xiàn)實數(shù)據(jù)集聯(lián)合訓練以提高現(xiàn)實數(shù)據(jù)的性能，在上表中，VechileX和cityflow數(shù)據(jù)集混合訓練，和只用cityflow數(shù)據(jù)集訓練相比，在mAP上提升了6.95個點。使用attribute descent方法，和random attribute相比，在mAP上提升了1.2個點。

總結(jié)：

合成數(shù)據(jù)在這些年越來越被重視，但是合成數(shù)據(jù)和現(xiàn)實數(shù)據(jù)之間的domain gap約束了合成數(shù)據(jù)的發(fā)展。這篇文章從內(nèi)容適應的角度出發(fā)，提出了一個新的合成數(shù)據(jù)集VehicleX。目前，vehicleX的3D模型和其生成的圖片，引擎及其源代碼均已開源。

申明：論文原文來源網(wǎng)絡,由《計算機視覺社區(qū)》公眾號整理分享大家，僅供參考學習使用，不得用于商用，引用或轉(zhuǎn)載請注明出處！如有侵權(quán)請聯(lián)系刪除！

點一下??在看??會更好看哦

總結(jié)

以上是生活随笔為你收集整理的unity随机方向的代码_ECCV 2020 目前用于车辆重识别（vehicle reID）中最大的合成车辆数据集（代码开源）...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。