本文轉(zhuǎn)載自：SIGAI

今天，你AI了沒(méi)？

關(guān)注：決策智能與機(jī)器學(xué)習(xí)，每天學(xué)點(diǎn)AI干貨

VALSE2019之總結(jié)篇

VALSE2019于4月11日在合肥成功舉辦，此次盛會(huì)邀請(qǐng)了各界青年學(xué)者，共同研討計(jì)算機(jī)視覺(jué)的最新課題與發(fā)展方向，是一次視覺(jué)領(lǐng)域的交流會(huì)，一次學(xué)術(shù)課題的分享會(huì)，一次研究成果的展示會(huì)。在本屆VALSE2019的大平臺(tái)上，各高校與各企業(yè)分享了學(xué)術(shù)界與工業(yè)界的最新進(jìn)展，共同商討了計(jì)算機(jī)視覺(jué)的未來(lái)發(fā)展主題。這次大會(huì)在成果的交流與思想的碰撞中，擦出計(jì)算機(jī)視覺(jué)領(lǐng)域最新的火花。

本次大會(huì)涵蓋的主題非常豐富，包含了計(jì)算機(jī)視覺(jué)領(lǐng)域的各個(gè)方面，從弱監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)、元學(xué)習(xí)，到細(xì)粒度識(shí)別、三維視覺(jué)、模型結(jié)構(gòu)搜索，再到醫(yī)學(xué)影像智能分析，以人為中心的視覺(jué)理解、在線視覺(jué)跟蹤。同時(shí)涵蓋了計(jì)算機(jī)視覺(jué)的基本任務(wù)，與計(jì)算機(jī)視覺(jué)的最新應(yīng)用，可以說(shuō)本次大會(huì)是一次承前啟后的計(jì)算機(jī)視覺(jué)盛筵。

?

首先，計(jì)算機(jī)視覺(jué)的熱門研究方向越來(lái)越趨向少樣本學(xué)習(xí)、遷移學(xué)習(xí)與自動(dòng)化學(xué)習(xí)，這也正是VALSE2019很多 Workshop與Tutorial的主題。自深度學(xué)習(xí)方法興起，CNN在計(jì)算機(jī)視覺(jué)各領(lǐng)域上都取得了相當(dāng)優(yōu)秀的成績(jī)，CNN雖然可以從大量數(shù)據(jù)中提取有效的特征，但它對(duì)于數(shù)據(jù)數(shù)量與廣泛性的依賴一直都是它的短板之一，尤其是最近一年，數(shù)據(jù)的獲取與標(biāo)注已陷入瓶頸，我們不僅需要大量的數(shù)據(jù)，更需要高精度的標(biāo)注，這個(gè)問(wèn)題越來(lái)越嚴(yán)重，成為限制CNN發(fā)展的一個(gè)問(wèn)題之一。同時(shí)，如何加強(qiáng)CNN模型的泛化能力，讓訓(xùn)練好的CNN模型更好地適應(yīng)新的數(shù)據(jù)也是計(jì)算機(jī)視覺(jué)的研究熱點(diǎn)。盡管我們可以使用萬(wàn)或百萬(wàn)量級(jí)的數(shù)據(jù)進(jìn)行訓(xùn)練，但訓(xùn)練數(shù)據(jù)也僅僅是所有數(shù)據(jù)的一個(gè)小子集，其分布并不代表整體數(shù)據(jù)的分布，那么如何有效地在已知數(shù)據(jù)中挖掘出整體數(shù)據(jù)的共性，也是當(dāng)前計(jì)算機(jī)視覺(jué)面臨的困境。弱監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)與元學(xué)習(xí)都是致力于解決這些問(wèn)題的方法。本次VALSE2019大會(huì)的第一天當(dāng)晚，與第二天的講座詳細(xì)介紹了當(dāng)前弱監(jiān)督學(xué)習(xí)與遷移學(xué)習(xí)的基本任務(wù)與難點(diǎn)，當(dāng)前研究成果與應(yīng)用。

此外，CNN的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)與訓(xùn)練需要大量的專家經(jīng)驗(yàn)，如何自動(dòng)地學(xué)習(xí)有效的網(wǎng)絡(luò)結(jié)構(gòu)，也是當(dāng)前計(jì)算機(jī)視覺(jué)熱門主題之一。從AlexNet將CNN重新被世人認(rèn)可，再到VGG，GoogleNet，ResNet，DenseNet等越來(lái)越多人工設(shè)計(jì)的有效網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域，有效網(wǎng)絡(luò)結(jié)構(gòu)的探索耗時(shí)多年，傾注了大量研究者的心血。如今自動(dòng)化地探索網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)出專用的或泛化能力更強(qiáng)的網(wǎng)絡(luò)結(jié)構(gòu)，成為計(jì)算機(jī)視覺(jué)方向的熱點(diǎn)之一。本屆VALSE2019關(guān)于深度模型設(shè)計(jì)的Workshop即著眼于網(wǎng)絡(luò)結(jié)構(gòu)搜索，各高校與企業(yè)的青年學(xué)者介紹了該方向的基本任務(wù)，研究進(jìn)展，以及發(fā)展前景。

其次，計(jì)算機(jī)視覺(jué)是一個(gè)注重應(yīng)用的學(xué)科，計(jì)算機(jī)視覺(jué)研究的根本目的之一也是助力于人類生活。本屆VALSE大會(huì)的Workshop中包含了計(jì)算機(jī)視覺(jué)應(yīng)用的諸多方向：醫(yī)學(xué)成像、視頻監(jiān)控、三維建模與在線跟蹤等，在這些講座上，各高校與企業(yè)共同交流，探討了計(jì)算機(jī)視覺(jué)領(lǐng)域的各應(yīng)用場(chǎng)景，解決方案，以及實(shí)際成果，碰撞出更新的觀點(diǎn)與思路。在本屆大會(huì)講座的同時(shí)，各企業(yè)在展廳中展示了相關(guān)工作的效果，這也正是計(jì)算機(jī)視覺(jué)與人工智能落地的成果。

最后，VALSE2019大會(huì)回顧了2018年度計(jì)算機(jī)視覺(jué)領(lǐng)域的關(guān)鍵進(jìn)展，包括了圖像語(yǔ)意分割、圖模型、GAN理論算法，深度模型結(jié)構(gòu)等學(xué)術(shù)問(wèn)題，以及人臉表情識(shí)別，行人再識(shí)別等應(yīng)用問(wèn)題。這是對(duì)去年計(jì)算機(jī)視覺(jué)領(lǐng)域研究成果的一次匯報(bào)，同時(shí)也是對(duì)今年研究方向的啟示。

?

VALSE2019研討會(huì)緊跟計(jì)算機(jī)視覺(jué)研究的熱點(diǎn)方向，各青年學(xué)者齊聚一堂，共同探討科研進(jìn)展與應(yīng)用成果，為所有計(jì)算機(jī)視覺(jué)研究者提供了一個(gè)學(xué)習(xí)、交流、思考、合作的平臺(tái)。

?

?

Workshop：以人為中心的視覺(jué)理解研討會(huì) 參會(huì)記錄

4月12日上午，筆者參見(jiàn)了VALSE2019的研討會(huì)--以人為中心的視覺(jué)理解。研討會(huì)現(xiàn)場(chǎng)座無(wú)虛席，為了能夠搶到一個(gè)好位置，本人早上7點(diǎn)30就來(lái)到合肥國(guó)際會(huì)展中心的第五會(huì)場(chǎng)。各位大佬圍繞視覺(jué)行為分析理解進(jìn)行了長(zhǎng)達(dá)4小時(shí)的報(bào)告：

一、基于視頻的時(shí)序建模和動(dòng)作識(shí)別方法? （王利民）

當(dāng)前視頻行為識(shí)別主要是在三種場(chǎng)景：

• In the Lab

• In TV，Movies

• In web videos

  
  

視頻動(dòng)作識(shí)別的機(jī)遇和挑戰(zhàn):

機(jī)遇：視覺(jué)信息提供了大量、豐富的數(shù)據(jù)用于視覺(jué)理解；動(dòng)作是運(yùn)動(dòng)感知的核心且能夠衍生許多視頻理解的應(yīng)用。

挑戰(zhàn)：復(fù)雜的動(dòng)態(tài)時(shí)序變化，動(dòng)作的定義不明確，噪聲和行人的弱標(biāo)記信息，昂貴的計(jì)算資源和存儲(chǔ)代價(jià)。

由于視頻在圖像的基礎(chǔ)上增加了一維時(shí)序信息，王利民老師從短期（Short Term）、中期（Middle Term）、長(zhǎng)期（Long Term）三個(gè)角度對(duì)視頻的時(shí)序信息進(jìn)行建模。首先，回顧了基于深度學(xué)習(xí)的視頻行為識(shí)別主流方法，比如two-stream，C3D，SlowFast Network。

然后，王老師重點(diǎn)分享了其本人在視頻行為識(shí)別的一些工作。主要包括:

• 短期建模方法：Appearance-and-Relation Net（ARTNet）

• 中期建模方法Temporal?Segment?Network—TSN

• 長(zhǎng)期建模方法（Untrimmed?Net）

復(fù)雜視頻的深度高效分析與理解方法（喬宇）

在報(bào)告中，喬老師首先回顧了深度網(wǎng)絡(luò)的結(jié)構(gòu)演化AlexNet、GoogLeNe、VGGNet、ResNet、DenseNet，給出深度網(wǎng)絡(luò)發(fā)展的幾個(gè)重要方法：

• 優(yōu)化（optimization），主要包括ReLu、Batch Normalization、Stage-wise training（or better initialization）、Identity Connection in ResNet.

• ?過(guò)擬合overfitting，包括Dropout，Data Argumentation

• ?結(jié)構(gòu)設(shè)計(jì)Architecture Design，包括3×3 Layer in VGG，Inception Module以及ResNet Block

• 輕量級(jí)Light parameter，包括3×3 Conv in VGG，1×1 Conv+Bottleneck。

  
  

喬老師作為國(guó)內(nèi)視頻行為識(shí)別的大佬，分享了自己視覺(jué)生涯的三個(gè)階段，其談到CV是一個(gè)長(zhǎng)期充滿挑戰(zhàn)且十分具有前景的研究領(lǐng)域，希望廣大學(xué)生腳踏實(shí)地的做研究。在第一階段的山腳（~2011年），主要采用傳統(tǒng)方法去處理視覺(jué)的難題（檢測(cè)、分割等），效果不如人意；在第二階段的爬坡期（2012年后的深度學(xué)習(xí)），深度學(xué)習(xí)方法極大地推動(dòng)了視覺(jué)各項(xiàng)任務(wù)的發(fā)展；在第三階段的登頂期（未來(lái)），將朝著超級(jí)視覺(jué)去發(fā)展（本人理解為多模態(tài)融合的視覺(jué)技術(shù)）。

隨后，喬老師分享了人臉檢測(cè)（MTCNN、ICC-CNN）和人臉識(shí)別的一些工作。重點(diǎn)從人臉識(shí)別的loss發(fā)展進(jìn)行了分享，從早期的softmax Loss、Contrastive Loss、Tripetloss、Center loss的系列改進(jìn)。

在視頻行為識(shí)別與理解方面，喬老師分享了一系列他們實(shí)驗(yàn)室的工作，包括：2013年的視頻中層表示與結(jié)構(gòu)模型、2014年的軌跡卷積特征TPD以及視頻特征編碼學(xué)習(xí)、2016年的運(yùn)動(dòng)向量網(wǎng)絡(luò)EMV-CNN和時(shí)序分割模型TSN，以及2017年后的姿態(tài)遞歸注意網(wǎng)絡(luò)RPAN和非監(jiān)督強(qiáng)化視頻概要。

?

以人為中心視覺(jué)識(shí)別和定位中的結(jié)構(gòu)化深度學(xué)習(xí)方法探索? 歐陽(yáng)萬(wàn)里

歐陽(yáng)萬(wàn)里老師分析了傳統(tǒng)的卷積網(wǎng)絡(luò)的存在的問(wèn)題：1）同一層的神經(jīng)元沒(méi)有連接；2）相鄰層的神經(jīng)元是全連接，沒(méi)有保證局部區(qū)域的信息。從而引出每一層網(wǎng)絡(luò)的各神經(jīng)元具有結(jié)構(gòu)化信息的。然后以人體姿態(tài)估計(jì)為例，分析了基于全連接神經(jīng)網(wǎng)絡(luò)的問(wèn)題：在對(duì)人體節(jié)點(diǎn)的距離進(jìn)行建模需要大的卷積核以及一些關(guān)節(jié)點(diǎn)的關(guān)系是不穩(wěn)定。提出結(jié)構(gòu)化特征學(xué)習(xí)的人體姿態(tài)估計(jì)模型（Bidirectional Tree）。

此外，為了統(tǒng)一利用像素級(jí)、區(qū)域級(jí)以及圖像級(jí)任務(wù)的優(yōu)勢(shì)，歐陽(yáng)萬(wàn)里老師提出了FishNet，FishNet的優(yōu)勢(shì)是：更好的將梯度傳到淺層網(wǎng)絡(luò)，所提取的特征包含了豐富的低層和高層語(yǔ)義信息并保留和微調(diào)了各層級(jí)信息。

?

面向監(jiān)控視頻的行為識(shí)別與理解 ?林巍峣

由于監(jiān)控視頻具有場(chǎng)景相對(duì)固定、目標(biāo)較小、行為復(fù)雜等特點(diǎn)，對(duì)監(jiān)控視頻的行為識(shí)別和理解已成為計(jì)算機(jī)視覺(jué)領(lǐng)域的最新挑戰(zhàn)。林老師在報(bào)告中介紹了行為識(shí)別技術(shù)的發(fā)展和主要類別，然后介紹了其課題組的一些工作進(jìn)展，主要包括多目標(biāo)軌跡魯棒提取，基于軌跡信息的行為識(shí)別，基于時(shí)空序列的行為識(shí)別以及密集場(chǎng)景行為理解等。

在目標(biāo)檢測(cè)方面，介紹了三個(gè)在真實(shí)場(chǎng)景應(yīng)用的工作：

1）一種輕量級(jí)的目標(biāo)檢測(cè)網(wǎng)絡(luò)（tiny DSOD）

2）一種更加準(zhǔn)確的基于AP-loss的One-stage目標(biāo)檢測(cè)框架。

在研討會(huì)的結(jié)束的時(shí)候，進(jìn)行了長(zhǎng)達(dá)20分鐘的pannel。各專家針對(duì)視頻行為識(shí)別的問(wèn)題進(jìn)行了探討，重點(diǎn)對(duì)視頻行為的計(jì)算資源和數(shù)據(jù)標(biāo)注問(wèn)題進(jìn)行了探討，并對(duì)真實(shí)監(jiān)控視頻場(chǎng)景下的空時(shí)定位和異常行為進(jìn)行了簡(jiǎn)要分析。

?

NAS(Nueral?Architecture?Search):?未來(lái)之匙，大有可為

以深度學(xué)習(xí)為基礎(chǔ)的各種算法實(shí)現(xiàn)了自動(dòng)從數(shù)據(jù)中提取特征，逐步改變了傳統(tǒng)算法手工設(shè)計(jì)特征的局面。然而，目前的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)仍然需要領(lǐng)域內(nèi)專家花費(fèi)很長(zhǎng)時(shí)間才能進(jìn)行設(shè)計(jì)調(diào)整才能得到高效精巧的模型。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索實(shí)現(xiàn)了自動(dòng)化結(jié)構(gòu)搜索以及權(quán)重調(diào)整。

目前NAS發(fā)展仍然處于初級(jí)階段，但其對(duì)于未來(lái)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的研究是具有重大影響的。來(lái)自美國(guó)約翰霍普金斯大學(xué)的謝凌曦提出神經(jīng)網(wǎng)絡(luò)搜索所處的研究階段大致相當(dāng)于2011年前神經(jīng)網(wǎng)絡(luò)研究相同，目前沒(méi)有一個(gè)處于絕對(duì)統(tǒng)治地位的實(shí)現(xiàn)方式。另外，受限于數(shù)據(jù)集，目前的NAS研究仍然使用傳統(tǒng)的CIFAR10，CIFAR100抑或ImageNet 數(shù)據(jù)集進(jìn)行訓(xùn)練，這在某種程度上限制了下一代神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)所能達(dá)到的效果。如何設(shè)計(jì)適應(yīng)于NAS研究所使用的數(shù)據(jù)集是一個(gè)亟需解決的開(kāi)放的研究話題。另外，謝凌曦組針對(duì)目前NAS訓(xùn)練時(shí)間長(zhǎng)，需要使用小數(shù)據(jù)集作為Proxy的缺陷，他們?cè)贒ARTS上進(jìn)行改進(jìn)，提過(guò)了多階段逐步加深的訓(xùn)練方法，使用了搜索空間近似以及搜索空間約束等方法，使用了大大減少了模型搜索的時(shí)間。

來(lái)自曠視的張祥雨則從實(shí)際工業(yè)應(yīng)用出發(fā)，針對(duì)在模型部署階段關(guān)于模型復(fù)雜度以及計(jì)算效率的要求出發(fā)，講解了曠視在高效輕量級(jí)深度模型領(lǐng)域的研究成果，從ShuffleNet到ShuffleNet?V2的設(shè)計(jì)，然后到Single?Path?One- Shot?Neural?Architecture?Search?with?Uniform?Sampling在NAS領(lǐng)域的探索。張?zhí)岢霎a(chǎn)品線上有很多對(duì)于模型在不同設(shè)備上進(jìn)行模型適配的的需求，NAS可以作為一種新型的模型適配方案，將部署設(shè)備的運(yùn)算能力等特性作為NAS搜索等限制條件來(lái)搜索高效的網(wǎng)絡(luò)模型，實(shí)現(xiàn)精度，效率以及靈活性的權(quán)衡。

眾所周知，2015年提出的ResNet目前已經(jīng)被廣泛使用在分類，檢測(cè)，分割等各個(gè)方向當(dāng)中。在深度學(xué)習(xí)模型設(shè)計(jì)的Panel時(shí)間，張翔雨分享了在設(shè)計(jì)ResNet的歷程。ResNet的設(shè)計(jì)源于對(duì)于GoogleNet的研究。在GoogleNet的論文中，作者將網(wǎng)絡(luò)的取得的效果歸功于不同大小的卷積核所提取的多尺度特征。而張等人在研究過(guò)程中發(fā)現(xiàn)，在刪除不同大小卷積核的對(duì)比實(shí)驗(yàn)中，卷積核的影響是非常大的，這成為了他們?cè)O(shè)計(jì)shortcut的靈感來(lái)源。而他們關(guān)于GoogleNet的研究前前后后持續(xù)了一年左右。考慮到目前NAS所搜索出網(wǎng)絡(luò)所達(dá)到的結(jié)果和時(shí)間，這進(jìn)一步讓我們更加期待NAS的未來(lái)。

VALSE2019舞動(dòng)合肥

雖然VALSE已經(jīng)成功舉辦8屆，雖然已經(jīng)關(guān)注VALSE 5年之久，但是這還是筆者第一次參會(huì)。以往只能在paper中看到的名字，這次真的可以見(jiàn)到真人了，筆者化身迷妹，仔細(xì)品位各位大牛帶來(lái)的學(xué)術(shù)盛宴。由于時(shí)間沖突，筆者不能一一聽(tīng)取每一位講者的報(bào)告，只能選擇感興趣的以及與自己強(qiáng)相關(guān)的報(bào)告來(lái)消化吸收。

?

本次workshop或者tutorial幾乎所有的報(bào)告都是深度學(xué)習(xí)相關(guān)，在大數(shù)據(jù)、集群GPU等的大力發(fā)展和支撐下，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域全面產(chǎn)業(yè)落地，這次參會(huì)明顯感受有以下幾點(diǎn)：

1.?缺乏訓(xùn)練數(shù)據(jù)是產(chǎn)業(yè)和學(xué)術(shù)界的普遍問(wèn)題，工業(yè)界應(yīng)用產(chǎn)品落地很大程度上取決于有監(jiān)督學(xué)習(xí)，但是在實(shí)際的場(chǎng)景中，標(biāo)注數(shù)據(jù)的獲取成本太高，一個(gè)檢測(cè)目標(biāo)框標(biāo)注雖然只有幾毛錢，但是標(biāo)注幾萬(wàn)張、幾十萬(wàn)張圖片需要耗時(shí)大量的人力和時(shí)間，因此在數(shù)據(jù)匱乏的情況下，如何進(jìn)行弱監(jiān)督學(xué)習(xí)甚至是無(wú)監(jiān)督學(xué)習(xí)稱為學(xué)術(shù)界普遍關(guān)心的問(wèn)題，遷移學(xué)習(xí)也是研究的熱點(diǎn)之一，毋容置疑監(jiān)督學(xué)習(xí)目前是成熟度最高的，已經(jīng)成功商用，有學(xué)者指出下一走上商用的技術(shù)將會(huì)是遷移學(xué)習(xí)。

2. 深度學(xué)習(xí)在很多領(lǐng)域都取得了不錯(cuò)的效果，但調(diào)參對(duì)于模型訓(xùn)練者來(lái)說(shuō)是一件非常痛苦的事情，超參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)的調(diào)整確實(shí)會(huì)對(duì)模型精度提升帶來(lái)一定的效果，但常規(guī)的random search和grid search效率非常低下，因此網(wǎng)絡(luò)結(jié)構(gòu)搜索(Neural Architechture Search, NAS)成為研究熱點(diǎn)之一。AutoML更加簡(jiǎn)單快速和智能，只需要訓(xùn)練數(shù)據(jù)即可讓AutoML獨(dú)立完成網(wǎng)絡(luò)設(shè)計(jì)，深度學(xué)習(xí)領(lǐng)域的自動(dòng)化正在席卷而來(lái)。

3.?移動(dòng)端的深度學(xué)習(xí)風(fēng)起云涌，在展臺(tái)上看到很多手機(jī)上應(yīng)用深度學(xué)習(xí)的demo，雖然目前只是互動(dòng)娛樂(lè)，相信在不遠(yuǎn)的將來(lái)會(huì)深度學(xué)習(xí)會(huì)對(duì)我們的日常生活帶來(lái)更大的影響。為了使得深度學(xué)習(xí)模型可以跑在移動(dòng)端，輕量化的模型必不可少，模型剪枝和壓縮勢(shì)在必行。

?

截止到12日晚，所有的workshop和tutorial已經(jīng)分享完畢，相信跟我一樣慕名來(lái)參會(huì)的所有計(jì)算機(jī)視覺(jué)同行朋友會(huì)感到不虛此行，非常感謝主辦方與承辦方以及協(xié)辦方、志愿者學(xué)生的辛苦和付出。

?

VALSE 2019 見(jiàn)聞

第一天晚上6點(diǎn)開(kāi)始兩場(chǎng)workshop，一場(chǎng)是關(guān)于弱監(jiān)督視覺(jué)理解，一場(chǎng)是關(guān)于三維視覺(jué)和深度學(xué)習(xí)的，我選擇去聽(tīng)了三維視覺(jué)的workshop。

首先主持人講了三維視覺(jué)的研究問(wèn)題，主要說(shuō)了一下深度學(xué)習(xí)能夠如何幫助3D視覺(jué)，以及深度學(xué)習(xí)在3D視覺(jué)中的挑戰(zhàn)，3D視覺(jué)如何幫助深度學(xué)習(xí)等等。接下來(lái)介紹了幾位講者的信息，都是該領(lǐng)域深耕的大牛。

第一位給talk的是百度的楊睿剛老師，他主要講的是百度無(wú)人駕駛?cè)绾文M3D的感知和導(dǎo)航。

首先他講到通過(guò)lidar，我們可以得到很多3D點(diǎn)云的信息，但是標(biāo)注成本特別高，除此之外，無(wú)人駕駛沒(méi)有辦法收集到無(wú)窮無(wú)盡的數(shù)據(jù)，所以能夠通過(guò)模擬生成仿真的數(shù)據(jù)有利于我們?cè)谶@些仿生場(chǎng)景中測(cè)試無(wú)人駕駛的安全性。

然后整個(gè)talk的核心就是在講他們通過(guò)仿真和3D的技術(shù)，可以實(shí)現(xiàn)數(shù)據(jù)的生成，首先將場(chǎng)景中的車全部拿掉，然后再用3D重建和合成的技術(shù)，在這個(gè)場(chǎng)景下生成他們需要的車，接著在視頻層面生成運(yùn)動(dòng)的車輛，這樣就能夠生成無(wú)窮無(wú)盡的任意場(chǎng)景的數(shù)據(jù)，同時(shí)因?yàn)檫@些車都是合成的，所以自動(dòng)就有了標(biāo)注信息，根據(jù)這些生成的數(shù)據(jù)，就能一直做無(wú)人駕駛的仿真和模擬，比CARLA和AirSim的效果都要好很多，這個(gè)數(shù)據(jù)最后應(yīng)該會(huì)開(kāi)源。

最后總結(jié)一下，因?yàn)樵谡鎸?shí)場(chǎng)景中收集，標(biāo)注，測(cè)試代價(jià)非常大，所以通過(guò)模擬仿真的方式生成數(shù)據(jù)是一個(gè)比較好的解決方法，最后提出從仿真場(chǎng)景到真實(shí)場(chǎng)景之間存在domain gap，拋出一個(gè)問(wèn)題，是不是能夠用 transfer learning 去解決這個(gè)問(wèn)題。

?

第二位講的老師是國(guó)防科技大學(xué)的徐凱老師，他主要講的就是通過(guò) hierarchical 信息來(lái)有效地進(jìn)行3D的重建。

核心insight就是每個(gè)物體的3D信息能夠被每個(gè)部分之間的層次信息有效的組織起來(lái)，這能夠反映它們內(nèi)部的聯(lián)系，比如之間是連接關(guān)系還是對(duì)稱關(guān)系等，通過(guò)auto-encoder來(lái)構(gòu)建一個(gè)遞歸的神經(jīng)網(wǎng)絡(luò)，將任意的無(wú)標(biāo)簽的布局映射到一個(gè)隱含向量，這個(gè)隱含向量能夠有效的捕獲任意人造的3D物體的結(jié)構(gòu)化信息。接著他講到了3D場(chǎng)景理解，其核心還是在于場(chǎng)景中物體之間的hierarchical organization和layout。

?

第三位主講老師是清華大學(xué)的劉燁斌老師，主要聚焦在3D人體重建上，能夠應(yīng)用在影視和廣告特效上。

首先介紹了一下基于統(tǒng)計(jì)模板的人體動(dòng)態(tài)重建方法，其中最為代表性的工作就是2015年馬普所的SMPL，之后有很多基于2D圖像生成3D人體的工作都是基于SMPL這個(gè)人體參數(shù)模型。這一類方法的優(yōu)點(diǎn)就是無(wú)任何人工預(yù)處理，同時(shí)具有語(yǔ)義信息。缺點(diǎn)就是難以重建復(fù)雜的幾何拓?fù)?#xff0c;比如裙子等紋理結(jié)構(gòu)。

接著講到了他們的一個(gè)工作，利用單深度相機(jī)進(jìn)行語(yǔ)義化實(shí)時(shí)人體三維動(dòng)態(tài)重建，SimulCap。人只需要在深度相機(jī)前面轉(zhuǎn)一圈，就能夠使用DoubleFusion的方法重建衣服的表面，接著利用顏色信息對(duì)衣服的表面進(jìn)行語(yǔ)義分割。

考慮到深度相機(jī)的信息并不能在實(shí)際中獲取，所以需要用RGB圖像進(jìn)行人體的重建，所以有了他們接下來(lái)的一個(gè)工作，利用單RGB圖像進(jìn)行人體動(dòng)態(tài)三維重建 DeepHuman。整個(gè)框架由一個(gè)image encoder，volume-to-volume的網(wǎng)絡(luò)，和一個(gè)refinement網(wǎng)絡(luò)構(gòu)成。

最后，因?yàn)橥ㄟ^(guò)RGB圖像生成的3D人體模型仍然缺少語(yǔ)義信息，所以有了最近的一個(gè)工作，只利用單RGB視頻進(jìn)行人體的語(yǔ)義化建模，MulayCap。這個(gè)工作應(yīng)該是他們正在做的工作，目前在網(wǎng)上找不到相關(guān)的論文。

最后，劉老師總結(jié)了整個(gè)內(nèi)容，基于單圖像和單視頻是人體重建未來(lái)幾年的熱點(diǎn)，因?yàn)椴恍枰腩~外的深度信息等，有利于實(shí)際應(yīng)用。第二就是結(jié)合語(yǔ)義的信息重建可以豐富人體重建的應(yīng)用，同時(shí)也需要更好的三維數(shù)據(jù)集，結(jié)合深度學(xué)習(xí)和傳統(tǒng)優(yōu)化算法。通過(guò)這個(gè)talk，劉老師將他們的一連串工作和motivation都非常好地展現(xiàn)給了聽(tīng)眾。

?

下一個(gè)talk是自動(dòng)化所申抒含老師講的基于圖像的大規(guī)模重建，整個(gè)發(fā)展方向是由稀疏點(diǎn)云重建，到稠密點(diǎn)云重建，到點(diǎn)云網(wǎng)絡(luò)重建，再到三維語(yǔ)義重建，三維矢量重建，最后到語(yǔ)義地圖重定位。

最后，場(chǎng)景的三維重建計(jì)算量非常大，主要還是基于幾何方法進(jìn)行重建，如何使用深度學(xué)習(xí)的方法也是一個(gè)非常好的研究方向。

?

最后一位是香港科技大學(xué)的沈劭劼老師，他是無(wú)人機(jī)領(lǐng)域的大牛，主要講的3D視覺(jué)在無(wú)人機(jī)中的應(yīng)用，聽(tīng)得不是很明白。

?

通過(guò)這一次的workshop，還是了解了很多關(guān)于3D視覺(jué)方面最新的研究方向和研究成果，而且感覺(jué)3D方向還是存在著一定的門檻，不像深度學(xué)習(xí)比較好進(jìn)入，國(guó)內(nèi)做3D視覺(jué)的組也不是很多，每年的paper也不算多，可能3D視覺(jué)在未來(lái)會(huì)成為一個(gè)熱點(diǎn)問(wèn)題。

?

遷移學(xué)習(xí)的前沿討論環(huán)節(jié)

1、為什么遷移學(xué)習(xí)這么熱？

龍明盛老師：

遷移學(xué)習(xí)關(guān)注的是學(xué)習(xí)模型的泛化能力，而在我們當(dāng)前這個(gè)時(shí)代模型的泛化能力是一個(gè)永恒的話題。遷移學(xué)習(xí)從1995年提出，從05年到10年做了很多奠基的工作。從實(shí)驗(yàn)科學(xué)上說(shuō)：當(dāng)今遷移學(xué)習(xí)的火熱主要是因?yàn)樯疃葘W(xué)習(xí)的發(fā)展，主要是證明了在大規(guī)模數(shù)據(jù)集上訓(xùn)練出來(lái)的模型有非常好的遷移能力，是遷移學(xué)習(xí)又熱起來(lái)的關(guān)鍵。這些模型不只在自己領(lǐng)域上表現(xiàn)比較好，而且在相似領(lǐng)域上表現(xiàn)也比較好。從理論上說(shuō)，對(duì)抗學(xué)習(xí)原理的引入也帶來(lái)了很大的進(jìn)展，因?yàn)檫@兩個(gè)原理的理論是無(wú)縫銜接的。

段立新老師：

應(yīng)用上：在傳統(tǒng)工廠環(huán)境的監(jiān)控設(shè)備，各個(gè)工廠的場(chǎng)地、使用的流水線也都不相同。這些圖像就會(huì)有一些差異，如何把以前已經(jīng)訓(xùn)練好的模型，更好的遷移到新的場(chǎng)景上來(lái)，也是非常重要的。瑕疵檢測(cè)，不同物體，體現(xiàn)出的瑕疵不同。如不同的手機(jī)殼，這些瑕疵類型和采集的數(shù)據(jù)也有差異。工業(yè)界遷移學(xué)習(xí)可以用的場(chǎng)景特別多。

聶飛平老師：

可以舉一反三。深度學(xué)習(xí)起了很大推動(dòng)作用，深度學(xué)習(xí)也是受了人腦的啟發(fā)所得到的模型。未來(lái)一些對(duì)人腦的思考可能也會(huì)帶動(dòng)遷移學(xué)習(xí)的發(fā)展。

黃老師：

遷移的本質(zhì)問(wèn)題是得到泛化性能好的表達(dá)，而這些工業(yè)界恰恰是最需要的。

鄧成老師：

怎么樣把人的先驗(yàn)引進(jìn)來(lái)，遷移學(xué)習(xí)在不同的場(chǎng)景產(chǎn)生了很多的分支，這些需求也是帶動(dòng)遷移學(xué)習(xí)火熱的原因。怎么樣在遷移方向下，利用人的知識(shí)，盡小量的去標(biāo)注數(shù)據(jù)，來(lái)提高遷移學(xué)習(xí)的性能。

左旺孟老師：

怎么獲取數(shù)據(jù)和怎么標(biāo)注數(shù)據(jù)還是個(gè)難題。遷移學(xué)習(xí)可以把這個(gè)問(wèn)題分解開(kāi)，如果一個(gè)域獲取數(shù)據(jù)和訓(xùn)練模型相對(duì)容易，那就可以在這個(gè)域?qū)W一些模型，把這個(gè)域上的模型遷移到另外較難獲取數(shù)據(jù)的域上去使用。在一些場(chǎng)景，如無(wú)人車，并不會(huì)真實(shí)去撞車來(lái)制造場(chǎng)景，而是會(huì)采用仿真模擬的方法去制造數(shù)據(jù)，深度學(xué)習(xí)加遷移學(xué)習(xí)會(huì)降低解決問(wèn)題的成本。而且仿真數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)獲取相對(duì)容易，也推動(dòng)了遷移學(xué)習(xí)。

?

2、遷移學(xué)習(xí)和GAN網(wǎng)絡(luò)兩者本身到底有什么區(qū)別？

左旺孟老師：

遷移學(xué)習(xí)是GAN的具體應(yīng)用。GAN在剛提出時(shí)使用并不多，反而到了16年人們感覺(jué)GAN可以和遷移學(xué)習(xí)做結(jié)合以后，使用越來(lái)越多。

黃老師：

GAN是大遷移概念下實(shí)現(xiàn)的工具，用GAN去減小域之間的差異，但是有時(shí)候不知道在什么情況下，域和域之間的差異可以比較好的減小，并沒(méi)有比較好的原則去定義，現(xiàn)在也在嘗試使用GAN的方式看是否能夠給不同域之間的轉(zhuǎn)化做一些方便。

段立新老師：

兩者可以互補(bǔ)相輔相成。遷移學(xué)習(xí)本身的理論體系還不是特別完善，如果能夠把GAN的一些理論放到遷移學(xué)習(xí)理論里來(lái)，指導(dǎo)遷移學(xué)習(xí)指導(dǎo)怎么去遷移，可能會(huì)使遷移學(xué)習(xí)的理論更完善。

龍明盛老師：

從歷史看，兩者沒(méi)有任何聯(lián)系，并且遷移學(xué)習(xí)是監(jiān)督學(xué)習(xí)，而GAN是無(wú)監(jiān)督學(xué)習(xí)。大概是因?yàn)閷W(xué)科融合，這兩者就體現(xiàn)了學(xué)科交叉和融合的趨勢(shì)。但是兩個(gè)領(lǐng)域研究的根本問(wèn)題還是不一樣的，GAN更多在分布的逼近，而遷移學(xué)習(xí)在做的是兩個(gè)分布之間的匹配。

?

?

3、什么時(shí)候需要遷移適配，什么時(shí)候不需要？

段立新老師：

最后還是要以實(shí)驗(yàn)結(jié)果說(shuō)了算。如何在事前就知道遷移是否能給我們帶來(lái)比較好的結(jié)果，即通過(guò)兩個(gè)數(shù)據(jù)集可以提取的數(shù)據(jù)分布去判斷一個(gè)源域會(huì)不會(huì)給目標(biāo)域帶來(lái)一個(gè)比較好的應(yīng)用效果，可能是接下來(lái)一個(gè)比較好的研究方向。

加小助手微信,?加群獲取現(xiàn)場(chǎng)PPT:

文章推薦

• 自動(dòng)駕駛中軌跡規(guī)劃的探索和挑戰(zhàn)

• NLP for Quant：使用NLP和深度學(xué)習(xí)預(yù)測(cè)股價(jià)（附代碼）

• 計(jì)算機(jī)進(jìn)行通用學(xué)習(xí)的原理、方法和工程模型

• 深度強(qiáng)化學(xué)習(xí) | 用TensorFlow構(gòu)建你的第一個(gè)游戲AI

• 干貨| 聊天機(jī)器人對(duì)知識(shí)圖譜有哪些特殊的需求？

總結(jié)

以上是生活随笔為你收集整理的干货 |VALSE 2019总结 --PPT 打包下载的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。