原址：http://html.rhhz.net/tis/html/201707032.htm

（收集材料ing，為論文做準備)[綜述性文章，，，可以做背景資料]

?

莫凌飛,?蔣紅亮,?李煊鵬????

摘要：近年來，深度學習算法在眾多有監(jiān)督學習問題上取得了卓越的成果，其在精度、效率和智能化等方面的性能遠超傳統(tǒng)機器學習算法，部分甚至超越了人類水平。當前，深度學習研究者的研究興趣逐漸從監(jiān)督學習轉(zhuǎn)移到強化學習、半監(jiān)督學習以及無監(jiān)督學習領(lǐng)域。視頻預測算法，因其可以利用海量無標注自然數(shù)據(jù)去學習視頻的內(nèi)在表征，且在機器人決策、無人駕駛和視頻理解等領(lǐng)域具有廣泛的應用價值，近兩年來得到快速發(fā)展。本文論述了視頻預測算法的發(fā)展背景和深度學習的發(fā)展歷史，簡要介紹了人體動作、物體運動和移動軌跡的預測，重點介紹了基于深度學習的視頻預測的主流方法和模型，最后總結(jié)了當前該領(lǐng)域存在的問題和發(fā)展前景。

關(guān)鍵詞：視頻預測????深度學習????無監(jiān)督學習????運動預測????動作識別????卷積神經(jīng)網(wǎng)絡????遞歸神經(jīng)網(wǎng)絡????自編碼器????

Review of deep learning-based video prediction

MO Lingfei,?JIANG Hongliang,?LI Xuanpeng????

Abstract: In recent years, deep learning algorithms have made significant achievements on various supervised learning problems, with their accuracy, efficiency, and intelligence outperforming traditional machine learning algorithms, in some instances even beyond human capability. Currently, deep learning researchers are gradually turning their interests from supervised learning to the areas of reinforcement learning, weakly supervised learning, and unsupervised learning. Video prediction algorithms have developed rapidly in the last two years due to its capability of using a large amount of unlabeled and naturalistic data to construct the forthcoming video as well as its widespread application value in decision making, autonomous driving, video comprehension, and other fields. In this paper, we review the development background of the video prediction algorithms and the history of deep learning. Then, we briefly introduce the human activity, object movement, and trajectory prediction algorithms, with a focus on mainstream video prediction methods that are based on deep learning. We summarize current problems related to this research and consider the future prospects of this field.

Key words:?video prediction????deep learning????unsupervised learning????motion prediction????action recognition????convolution neural network????recurrent neural network????auto encoder????

“我們?nèi)狈Φ囊粋€關(guān)鍵要素是預測(或無監(jiān)督)學習：機器具有模擬環(huán)境，預測未來的可能性，以及通過觀察和參與理解世界如何運作的能力。”[1]

近年來，深度學習在學術(shù)界和工業(yè)界得到了廣泛的發(fā)展和應用，其在計算機視覺[2-6]、語音識別[7]、自然語言處理[8-9]以及游戲策略[10-11]等眾多領(lǐng)域取得豐碩成果，在某些領(lǐng)域甚至取得了超越人類的表現(xiàn)。但當前的深度學習算法模型大部分都是以有監(jiān)督的方式訓練，模型嚴重依賴于大量的標注數(shù)據(jù)和長時間的訓練。以知名的ImageNet數(shù)據(jù)集[12]為例，其包含1 500萬張人工標注的圖片，超過2.2萬個類別，創(chuàng)建和標注一個如此大規(guī)模的數(shù)據(jù)集需要耗費許多人數(shù)月的時間才能完成。另外，依賴大量的標記數(shù)據(jù)來獲取概念和知識與人類的學習機制不符，人類依賴很少的樣本就可以獲取一個新的概念。當兒童第一次觀察到“貓”并被告知這種動物是“貓”以后，兒童并不需要長期被重復告知這是“貓”，但監(jiān)督學習的方式需要大量的樣本以及多次重復訓練，才能掌握“貓”的概念。以類似人類的方式，通過有限樣本或者無監(jiān)督的方式獲取知識和表征，成為當前人工智能領(lǐng)域的熱點研究問題。

另外，人類與其他動物的一個重要區(qū)別是人類有很強的預測能力。盡管一些動物也有一些預測能力，例如在圍捕獵物、躲避天敵和預測天氣變化上等；但人類顯然有更強的推理和預測能力，例如，人類駕駛汽車時可以推理其他汽車的運行軌跡，提前決策。當前計算機視覺領(lǐng)域的研究，也逐漸開始借鑒人類這種“預測編碼”能力。

在這種背景下，視頻預測因其可以用海量的無標注自然視頻數(shù)據(jù)來訓練，而且具有廣泛的應用場景，成為了當前深度學習研究領(lǐng)域的一個熱點研究方向，并且已經(jīng)取得了一定的研究成果。

給出一個視頻序列，預測未來視頻，這需要構(gòu)建一個可以精準建模視頻內(nèi)容和動態(tài)變化的內(nèi)部表征模型，這也是視頻預測被視為無監(jiān)督表征學習的一個很有前景的研究方向的原因。視頻預測模型學習到的表征可以遷移到監(jiān)督學習任務中。例如，文獻[13]通過實驗證明，通過無監(jiān)督視頻預測模型學習到的表征可以在動作識別數(shù)據(jù)集上提升分類結(jié)果，因此建模視頻動態(tài)是一種有效的無監(jiān)督表征學習方法。另外，在視頻中推斷未來的場景可以使機器人、自動駕駛汽車和無人機提前決策，因此有廣泛的應用價值。

1 深度學習概述

機器學習算法是一種可以自動從數(shù)據(jù)中發(fā)現(xiàn)規(guī)律，并利用此規(guī)律對未知數(shù)據(jù)進行預測的算法，機器學習在數(shù)據(jù)挖掘、計算機視覺、自然語言處理、搜索、推薦系統(tǒng)以及策略游戲等眾多領(lǐng)域得到了廣泛的應用，取得了突出的成果。然而，自然界的原始數(shù)據(jù)，例如圖像、視頻和傳感器測量數(shù)據(jù)等一般具有高維度、高復雜性和高冗余性的特點，人工提取特征需要依賴專家知識，費時費力且提取到的特征通常不太好。而傳統(tǒng)機器學習算法往往依賴人工提取特征，導致實際的機器學習問題退化為數(shù)據(jù)預處理和特征工程[2]，成為機器學習應用和發(fā)展的一大障礙。

深度學習是人工神經(jīng)網(wǎng)絡(artificial neural network, ANN)的一個分支。最早的人工神經(jīng)網(wǎng)絡研究可以追溯到Mcculloch和Pitts[14]在1943年提出的閾值邏輯單元，他們從原理上證明了人工神經(jīng)網(wǎng)絡可以計算任何算術(shù)和邏輯函數(shù)。隨后Hebb學習規(guī)則[15]、感知機[16]、反向傳播算法[17]等概念先后被提出，并得到了一定的應用，例如手寫數(shù)字識別[18]和語音識別[7]。然而，由于當時人們對神經(jīng)網(wǎng)絡認識有限，計算機的計算能力也有限，神經(jīng)網(wǎng)絡并未得到過多關(guān)注。2006年，Hinton等提出以無監(jiān)督限制玻爾茲曼機(restricted Boltzmann machine, RBM)進行逐層預訓練的方法來高效地訓練多層神經(jīng)網(wǎng)絡[19]，深度學習的概念開始進入公眾視野。2012年Krizhevsky等使用深度卷積神經(jīng)網(wǎng)絡(convolutional neural network, CNN)[18]構(gòu)建的AlexNet模型[3]以絕對優(yōu)勢贏得了ImageNet大規(guī)模圖像識別競賽(ILSVRC2012)的冠軍，AlexNet的成功成為了計算機視覺發(fā)展史上的轉(zhuǎn)折點，自此深度學習得到了飛速發(fā)展。卷積神經(jīng)網(wǎng)絡(convolutional neural network, CNN)、遞歸神經(jīng)網(wǎng)絡(recurrent neural network, RNN)[20]、自編碼網(wǎng)絡(auto encoder)[21]和生成對抗網(wǎng)絡(generative adversarial networks, GANs)[22]及其各種變種得到了廣泛的發(fā)展和應用。

表征學習(或特征學習, representation learning)[23]旨在利用機器自動從原始高維數(shù)據(jù)中獲得可以被機器學習算法高效利用的特征[21]。深度學習可看作一種通過簡單、非線性映射方式獲取多層特征的表征學習方法，它把原始輸入數(shù)據(jù)通過逐層映射，轉(zhuǎn)變?yōu)楦唠A的、更為抽象的特征。以分類問題為例，高層的表征放大了那些更有區(qū)分度的特征，而抑制了那些無關(guān)變量。深度學習被證明非常擅長發(fā)現(xiàn)高維度數(shù)據(jù)中的復雜特征，因此在科學界和工業(yè)界得到廣泛應用，并打破了圖像識別、語音識別和機器翻譯的記錄。

2 深度學習主要模型

近些年來，有越來越多的深度學習模型被提出，其中最基礎、最重要的模型主要有卷積神經(jīng)網(wǎng)絡、遞歸神經(jīng)網(wǎng)絡、自編碼器以及生成對抗網(wǎng)絡，這幾種模型構(gòu)成了視頻預測模型的基礎，下面我們簡要介紹這4種主流模型。

2.1 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡是前饋神經(jīng)網(wǎng)絡的一種，這種神經(jīng)元連接模式受動物視覺皮層檢測光學信號原理的啟發(fā)[24]。1980年Fukushima等[25]提出了CNN的前身——NeoCognitron，20世紀90年代，Lecun等[18]發(fā)表論文，確立了CNN的現(xiàn)代結(jié)構(gòu)，這是一種多層的人工神經(jīng)網(wǎng)絡，取名為LeNet-5。自2012年起，研究人員又不斷提出更深、性能更強的卷積神經(jīng)網(wǎng)絡模型：AlexNet[3]、VGGNet[5]和ResNet[6]等。卷積神經(jīng)網(wǎng)絡一般是由多個卷積層和全連接層組成，卷積操作、局部連接性和權(quán)值共享是卷積神經(jīng)網(wǎng)絡最顯著的特點。卷積神經(jīng)網(wǎng)絡通常用來處理2-D結(jié)構(gòu)的數(shù)據(jù)，其在圖像領(lǐng)域和語音識別上都得到了廣泛的應用。

2010年，Zeiler等[26]首次提出了反卷積(卷積轉(zhuǎn)置或小數(shù)步進卷積，Deconvolution)的概念，用于卷積神經(jīng)網(wǎng)絡的特征可視化以及圖像無監(jiān)督特征學習。反卷積網(wǎng)絡被越來越多的模型所采用，例如圖像語義分割[27]、生成模型[28]等。另外，為處理序列圖像，Ji等[29]使用3-D卷積去提取數(shù)據(jù)的空間和時間特征，從而可以使卷積神經(jīng)網(wǎng)絡能很好地處理序列信息，3-D卷積在人體動作識別等領(lǐng)域取得了顯著的結(jié)果。

2.2 遞歸神經(jīng)網(wǎng)絡

遞歸神經(jīng)網(wǎng)絡[20]是一種處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡，它把狀態(tài)在自身網(wǎng)絡中循環(huán)傳遞，能夠處理任意長度的序列，遞歸神經(jīng)網(wǎng)絡比前饋神經(jīng)網(wǎng)絡更加符合生物神經(jīng)網(wǎng)絡的結(jié)構(gòu)。

因為RNN容易受到梯度消失或者梯度爆炸的影響，Schmidhuber等[30]在1997年提出了長短期記憶(long short term memory, LSTM)神經(jīng)網(wǎng)絡，該模型增加了“遺忘門”和“更新門”。實驗表明，LSTM模型能有效避免梯度消失或者梯度爆炸的問題，很好地解決了長期依賴問題。隨后學者提出了很多LSTM模型的變體。Gers等[31]于2001年提出了窺視孔LSTM(peephole LSTM)，該模型增加了一個窺視孔連接，意味著可以讓門限層監(jiān)視神經(jīng)元狀態(tài)。Cho等[32]于2014年提出了門遞歸單元(gated recurrent unit, GRU)，它組合遺忘門和輸入門為一個“更新門”，合并了神經(jīng)元狀態(tài)和隱層狀態(tài)，這個模型比標準的LSTM模型更簡單。Shi等[33]在2015年提出了卷積LSTM(convolutional LSTM)，把卷積層和遞歸層做了很好的結(jié)合，卷積LSTM與常規(guī)LSTM的區(qū)別是把部分矩陣乘積操作換成了卷積操作。因為卷積LSTM可以很好地處理圖像的空間信息和時間動態(tài)信息，它在圖像生成模型和視頻處理等領(lǐng)域得到了廣泛應用。

2.3 自編碼器

自編碼器是一種以無監(jiān)督的方式來學習數(shù)據(jù)表征的神經(jīng)網(wǎng)絡，通常用來做數(shù)據(jù)降維[21]。自編碼器通常分為編碼器和解碼器兩部分，編碼器將數(shù)據(jù)編碼為潛在變量，解碼器將潛在變量重建為原數(shù)據(jù)。

自編碼器有很多變體，例如降噪自編碼器[34]、稀疏自編碼器[35]、變分自編碼器(VAE)[36-37]。因為自編碼器可以高效地進行數(shù)據(jù)降維，相當一部分視頻預測模型采用了自編碼器架構(gòu)。

2.4 生成對抗網(wǎng)絡

Goodfellow等[22]在2014年提出了生成對抗網(wǎng)絡的概念，其為生成模型提供了一種全新的高效訓練模式，近兩年來生成對抗網(wǎng)絡成為了機器學習領(lǐng)域最熱門的研究方向之一。LeCun認為“生成對抗網(wǎng)絡是過去十年來機器學習領(lǐng)域最有趣的想法”，很多GAN的衍生模型，如條件GAN(condition GAN)[38]、InfoGAN[39]、DCGAN[28]相繼被提出。

生成對抗網(wǎng)絡由一個生成器(generator, G)和一個判別器(discriminator，D)組成。生成器輸入一個潛在編碼，其輸出需無限逼近真實樣本；判別器的輸入為真實樣本和生成器的輸出，并識別出真實樣本和生成樣本。兩個網(wǎng)絡以零和博弈的方式交替訓練，訓練鑒別器時最小化鑒別誤差，訓練生成器時最大化鑒別誤差，最終目的是使鑒別器無法鑒別出生成樣本和真實樣本，生成器的輸出與真實樣本分布一致。生成對抗網(wǎng)絡的架構(gòu)如圖1所示。

生成對抗網(wǎng)絡的目標函數(shù)可以用式(1)描述：

minGmaxDV(D,G)=Ex～pdata(x)[logD(x)]+Ez～pz(z)[log(1?D(G(z)))]minG?maxD?V(D,G)=Ex～pdata(x)[log?D(x)]+Ez～pz(z)[log?(1?D(G(z)))]

(1)

生成對抗網(wǎng)絡在生成逼真的自然樣本[28]、圖像超分辨率[40]、三維建模[41]、圖像風格遷移[42]和視頻預測領(lǐng)域[43]得到了廣泛應用。

3 運動預測研究

給出一張靜態(tài)圖片或者一段場景視頻，人類不僅可以迅速地獲取圖像中的即時內(nèi)容，還可以推斷出圖像中的場景動態(tài)。然而，對于計算機來說，推演出圖像中的場景動態(tài)是一個比較困難的任務，因為它依賴計算機利用自然界大量難以參數(shù)化的知識來建模[44]。

	Download: ?JPG??larger image
圖 1?生成對抗網(wǎng)絡架構(gòu)Fig. 1?Architecture of generative adversarial nets

在視頻預測研究興起之前，學術(shù)界比較關(guān)注的是運動預測。運動預測一般是指從靜態(tài)圖像或視頻前幾幀中推斷出人體動作、物體移動軌跡等動態(tài)信息；而視頻預測是從靜態(tài)圖片或視頻前幾幀中直接預測未來圖像。本節(jié)我們對動作、運動和物體移動軌跡預測算法進行簡要回顧。

3.1 動作和運動預測

從靜態(tài)圖像或有限幀視頻中預測人類動作和行為是一個比較基礎也比較重要的任務。在動作預測方面，研究人員主要使用統(tǒng)計學習方法和傳統(tǒng)的機器學習方法來建模。Lan等[45]和Hoai等[46]使用最大化邊界框架來推測動作場景；Ryoo[47]把動作預測問題概率化，使用時空特征積分直方圖來建模特征分布如何隨時間變化；Vu等[48]提出了一種使用動作和場景之間的關(guān)聯(lián)信息，從靜態(tài)場景中預測人類動作的方法；Pei等[49]提出了一種基于隨機場景感知語法的事件解析、推斷事件目標和預測可信動作的算法，與Vu的方法類似，該方法使用事件的層次組成和子事件間的時態(tài)關(guān)系來鑒別不同事件以及預測動作；Fouhey等[50]和Koppula等[51]通過使用條件隨機場來建模人的可能動作從而來做未來場景的預測。

Huang等[52]提出了一種基于雙實體交互的方式來理解一個實體的動作如何影響另外一個實體的動作。本文把雙實體交互模型看作一種最優(yōu)控制問題，該模型使用一種基于核以及增強學習的近似軟最大值函數(shù)去處理高維度的自然人體運動，另外還使用了連續(xù)代價函數(shù)的均值轉(zhuǎn)移方法來平滑動作序列。

Pickup等[53]、Lampert等[54]和Pintea等[55]分別用統(tǒng)計流方法、向量值回歸和隨機森林回歸算法回歸物體移動方向；Pintea等還論證了運動預測在動作識別、運動顯著性檢測等方面有很大的應用價值。也有學者使用深度學習進行動作預測。Vondrick等[44]提出一種用深度回歸網(wǎng)絡的方法來學習視頻表征，結(jié)合動作識別模型，能夠很好地根據(jù)靜態(tài)圖像來推測未來動作。

3.2 物體移動軌跡預測

除人體動作和運動預測外，物體軌跡預測也具有廣泛的應用價值。Kitani等[56]提出了一種基于馬爾可夫決策過程和反轉(zhuǎn)最優(yōu)控制的動作理解和軌跡預測方法，并在運動分析(包括運動平滑、路徑和目的地預測)以及場景遷移學習上做了定量和定性的評估。Kitani等[56]和Gong等[57]都提出用行人軌跡預測來輔助多目標追蹤，并取得了高效的結(jié)果。

Kooij等[58]提出了一種動態(tài)貝葉斯網(wǎng)絡來做行人路徑預測；Walker等[59]使用條件變分自編碼器來預測靜態(tài)圖像中每個像素的運動軌跡；Walker等[60]使用光流算法來標記視頻，進而訓練一個光流預測模型，該模型可以預測每個像素的運動；Walker等[61]還嘗試了通過獎賞函數(shù)選擇最優(yōu)目標的方式建模汽車運動的軌跡。

Yuen等[62]提出一種基于大數(shù)據(jù)的方法，通過檢索大數(shù)據(jù)中與被檢索圖片或視頻相似場景的方式來預測物體可能的位置，該方法類似于k近鄰算法，不需要訓練模型，在數(shù)據(jù)量足夠大的情況下可以取得比較好的效果；Mottaghi等[63]使用兩個CNN和一個RNN來建模物體移動動態(tài)，從而預測可能移動的物體。

運動預測模型一般從建模移動物體的運動軌跡出發(fā)，能較好地預測前景物體的瞬時運動軌跡，其處理的數(shù)據(jù)維度低于視頻預測，但不能預測圖像的結(jié)構(gòu)信息，且其學習到的特征無法遷移到有監(jiān)督學習領(lǐng)域，因而其應用范圍和價值有限。

4 視頻預測模型架構(gòu)

“不是我創(chuàng)造的，我就不能理解。”著名物理學家Feynman這句話背后的內(nèi)涵是：通過構(gòu)建驗證過的概念來理解事物。在人工智能領(lǐng)域，可以理解為：如果一個機器能夠生成高度真實的數(shù)據(jù)，那么它就發(fā)展出了對自然數(shù)據(jù)的理解能力。

視頻預測是指給出一段連續(xù)視頻幀?X1,X2,?,X1,X2,?,?Xn，構(gòu)造一個模型可以精準地生成隨后的幀?Xn+1,Xn+1,Xn+2,?,Xn+tXn+2,?,Xn+t?(t是需要預測的幀的數(shù)量)。或者，給出一段序列?X1,X2,?,XNX1,X2,?,XN?，其中?Xn(1<n<N)Xn(1<n<N)?是缺失的，模型可以推斷缺失的幀(插值)。視頻預測不需要額外的標注信息，因此屬于無監(jiān)督學習的范疇。

一般常用于評估視頻質(zhì)量的指標有均方誤差(mean square error, MSE)、峰值信噪比(peak signal to noise ratio，PSNR)和結(jié)構(gòu)相似性(structural similarity index，SSIM)。用Y來表示真實幀，?Y^Y^?表示預測幀，MSE、PSNR和SSIM的定義如式(2)~(4)：

MSE(Y,Y^)=1N∑i=0N(Yi?Y^i)2MSE(Y,Y^)=1N∑i=0N(Yi?Y^i)2

(2)

PSNR(Y,Y^)=10lgmax2Y^1N∑i=0N(Yi?Y^i)2=10lgmax2Y^MSE(Y,Y^)PSNR(Y,Y^)=10lg?max2Y^1N∑i=0N(Yi?Y^i)2=10lgmax2Y^MSE(Y,Y^)

(3)

式中?max2Y^max2Y^?是像素的最大值，例如8位的像素表示法，其像素最大值是255。PSNR的值越大，代表失真越小。

SSIM(Y,Y^)=(2μYμY^+c1)(2σYY^+c2)(μ2Y+μ2Y^+c1)(σ2Y+σ2Y^+c2)SSIM(Y,Y^)=(2μYμY^+c1)(2σYY^+c2)(μY2+μY^2+c1)(σY2+σY^2+c2)

(4)

式中：?μYμY?是Y的均值；?μY^μY^?是?Y^Y^?的均值；?σ2YσY2?是?YY?的方差；?σ2Y^σY^2?是?Y^Y^?的方差；?σYY^σYY^?是?YY^YY^?的協(xié)方差；c1=c1=?(k1L)2(k1L)2?和?c2=(k2L)2c2=(k2L)2?是用于維持穩(wěn)定的常數(shù)；L是像素值的動態(tài)范圍，k1=0.01，k2=0.03；SSIM的范圍是 –1~1，值越大表示相似度越大。

視頻預測為一個較新的研究領(lǐng)域，目前尚未有專用于視頻預測的數(shù)據(jù)集，學者一般使用視頻動作數(shù)據(jù)集進行訓練和測試。表1給出了部分常用數(shù)據(jù)集和使用該數(shù)據(jù)集的部分文獻。

表 1?視頻預測算法常用數(shù)據(jù)集Tab.1?Common datasets used by video prediction algorithms

視頻預測模型一般基于自編碼器架構(gòu)、遞歸神經(jīng)網(wǎng)絡架構(gòu)和生成對抗網(wǎng)絡架構(gòu)，表2為部分基于以上3類架構(gòu)的視頻預測文獻概覽。下面我們按照這3類進行介紹。

4.1 自編碼器架構(gòu)

自編碼器因其可以進行高效的壓縮編碼，因而很多視頻預測模型采用自編碼器來進行視頻的降維和生成。基于自編碼器的視頻預測常用架構(gòu)如圖2所示。

Yan等[81]提出了一種深度動態(tài)編碼器模型(deep DynEncoder)，該模型輸入原始像素圖像，經(jīng)編碼器編碼成隱狀態(tài)變量，然后使用動態(tài)預測器(DynPredictor)將時序動態(tài)編碼。使用合適的堆疊策略、逐層預訓練和聯(lián)合微調(diào)，可以構(gòu)建多層深度動態(tài)編碼器。實驗表明，文獻[81]提到的方法可以描繪復雜的視頻動態(tài)，合成高質(zhì)量的紋理序列視頻。作者還構(gòu)造了基于深度動態(tài)編碼器模型的分類和聚類方法，在交通場景分類和運動分割上取得了接近甚至優(yōu)于之前最好的模型的效果。

Vukoti等[65]提出基于時間差?ΔtΔt?的卷積自編碼器模型。編碼器有兩個分支，一個接收輸入圖像，另外一個接收期望預測的時間差?ΔtΔt?，解碼器根據(jù)編碼器輸出的潛在變量生成可信的圖像。以沒有時間差輸入的常規(guī)卷積自編碼器模型為基準，作者提出的方法在KTH數(shù)據(jù)集上生成的圖像有更高的語義性，均方誤差也更低。然而，該模型存在諸多不足，例如生成的人體動作具有歧義，不能很好地建模快速移動的物體，不能充分地處理前景和背景信息等。

Liu等[73]提出一種深度體元流模型，該模型是一種全卷積自編碼器架構(gòu)，由3個卷積層、3個反卷積層和一個瓶頸層組成。為更好地保留空間信息，在每個卷積層和反卷積層之間有跳躍連接。在UCF-101和THUMOS-15數(shù)據(jù)集上的內(nèi)插和外推視頻實驗上的結(jié)果表明，該模型比文獻[70]中提到的多尺度對抗訓練架構(gòu)和光流法的結(jié)果要更優(yōu)。

Xue等[87]提出一種基于變分自編碼器和交叉卷積網(wǎng)絡的模型，該模型可以從一張圖片生成可能的未來幀。該模型通過條件變分自編碼器來建模未來幀的復雜條件分布。另外，該模型利用了圖像差分(歐拉運動)原理，因為圖像差分是稀疏的，并且比原始圖像更容易建模。Xue等還在合成數(shù)據(jù)集與自然圖像上驗證了模型的有效性，另外，作者還通過實驗證明了該模型在無監(jiān)督、零樣本類比學習上取得了很好的結(jié)果。

4.2 遞歸神經(jīng)網(wǎng)絡(RNN)架構(gòu)

遞歸神經(jīng)網(wǎng)絡可以很好地進行序列數(shù)據(jù)建模，視頻預測本身也是一種序列學習問題，很多研究人員采用遞歸神經(jīng)網(wǎng)絡來解決視頻預測問題。基于編解碼的遞歸神經(jīng)網(wǎng)絡架構(gòu)如圖3(a)所示。

Ranzato等[82]從自然語言處理領(lǐng)域借鑒了經(jīng)典的n-grams算法，將之與CNN和RNN結(jié)合起來，給出了一個視頻預測和視頻插值的基準。Ranzato還在RNN架構(gòu)基礎上提出了遞歸卷積神經(jīng)網(wǎng)絡(recurrent convolution neural network, RCNN)架構(gòu)，RCNN是在RNN輸入和輸出端連接卷積層，使其能夠更好地處理圖像結(jié)構(gòu)信息。

Srivastava等[13]提出了一種使用LSTM架構(gòu)的無監(jiān)督視頻表征學習模型。該模型將圖像經(jīng)過編碼器編碼后送入LSTM網(wǎng)絡，解碼器可以重建原視頻，或者預測未來視頻。然而，一個高容量的自編碼器網(wǎng)絡傾向于記憶輸入數(shù)據(jù)，預測模型傾向于僅僅存儲最近幾幀，因此本文提出了一個復合模型，復合模型可以同時重構(gòu)原圖像、預測未來圖像，強迫模型來更好地學習視頻表征。Srivastava最后把無監(jiān)督學習過程學習到的表征應用到有監(jiān)督學習——動作分類中，實驗結(jié)果表明，在訓練樣本很少的情況下，無監(jiān)督視頻預測學習到的特征顯著提升了分類結(jié)果。

Lotter等[76]從神經(jīng)科學的“預測編碼”概念獲得啟發(fā)，提出了一種視頻預測架構(gòu)——PredNet，該架構(gòu)的每一層只做局部預測，向后面的層傳遞殘差。PredNet在KITTI數(shù)據(jù)集上的結(jié)果表明其可以統(tǒng)一建模背景和移動物體(車輛、行人)的運動。

	Download: ?JPG??larger image
圖 2?基于自編碼器的視頻預測模型架構(gòu)Fig. 2?Architecture of video prediction based on auto encoder

Oh等[83]受DeepMind使用雅利達(Atari)游戲進行增強學習研究的啟發(fā)，提出未來圖像不僅與過去的圖像有關(guān)，還與當前的操作行為有關(guān)。Oh因此提出一種由編碼器、操作變換和基于CNN和RNN的解碼器組成的模型。實驗結(jié)果表明，基于操作信息的條件模型可以生成視覺上較真實的、可用于游戲控制的大約100幀預測視頻。Finn等[84]隨后也提出了基于動作的視頻預測模型，該模型可以根據(jù)不同的動作預測不同的視頻，該模型主要由卷積LSTM構(gòu)成，通過跳躍連接(skip connection)保存圖形背景信息，最后通過掩膜(mask)把背景和轉(zhuǎn)變圖像拼接起來。作者提出3個不同的架構(gòu)：動態(tài)神經(jīng)平流、卷積動態(tài)神經(jīng)平流和空間變換預測器。這3個模型在視頻預測上都取得了不錯的結(jié)果。

以上提到的方法都是直接預測高階的視頻，由于誤差累積和放大，預測多幀視頻是一個非常困難的任務。Villegas等[68]用高階結(jié)構(gòu)信息輔助進行視頻預測。他們提出的算法先從輸入圖像中提取人體骨架結(jié)構(gòu)，然后預測骨架結(jié)構(gòu)的變化，與參考圖片聯(lián)結(jié)在一起生成動作視頻。實驗表明，這種以高階結(jié)構(gòu)信息為條件的視頻生成策略有效減小了誤差傳播和累積，在Human3.6M等數(shù)據(jù)集上取得了較好的效果，且可以預測多達128幀的視頻。但是該方法僅能預測一種可能的運動，而且背景信息保持不變，不能建模背景的變化，因此有一定的局限性。

有些研究人員試圖將背景和運動分開建模。Villegas等[72]提出一種基于自編碼器、CNN和卷積LSTM架構(gòu)的模型，該模型有兩個編碼器輸入，其中一個編碼器接收圖像序列差分作為運動輸入，使用LSTM建模運動動態(tài)，另一個編碼器接收最后一幀靜態(tài)圖像，然后將LSTM的輸出與靜態(tài)圖像的編碼輸出組合起來，經(jīng)由解碼器解碼為預測圖像。作者還提出多尺度殘差版本，將編碼器各個池化層的輸出通過快捷連接接入到解碼器，以更好地保存圖像的結(jié)構(gòu)信息。

4.3 生成對抗訓練架構(gòu)

生成對抗網(wǎng)絡為機器學習領(lǐng)域引入了一種新的訓練模式，其優(yōu)越的性能引起了眾多學者的關(guān)注，也有很多學者采用對抗訓練的方式來進行視頻預測。一種常用的基于編解碼與生成對抗網(wǎng)絡的視頻預測架構(gòu)如圖3(b)所示。

Lotter等[80]提出了基于編碼器、LSTM和解碼器的預測生成模型，通過對抗訓練的方式，在“彈球”數(shù)據(jù)集和計算機生成的旋轉(zhuǎn)人臉數(shù)據(jù)集上取得了很好的結(jié)果，作者還論證了無監(jiān)督預測學習是一種有力的表征學習方法。

在度量生成樣本和真實樣本的距離上，學者通常使用l1或者l2距離，然而，實驗表明，僅使用l1或者l2距離作為損失函數(shù)會導致生成圖像較為模糊，當向前預測更多幀的時候，該問題更為嚴重。Mathieu等[70]為解決預測圖像模糊的問題，提出3個互補的解決策略：多尺度架構(gòu)、對抗訓練方法和圖像梯度差分損失函數(shù)。

受限于卷積核的大小問題，卷積操作僅能處理短范圍的依賴；另外，使用池化還會導致分辨率降低，文獻[70]使用多尺度網(wǎng)絡，通過在多個不同尺度的圖像進行上采樣和線性組合操作來更好的保持高分辨率。

	Download: ?JPG??larger image
圖 3?視頻預測模型的抽象結(jié)構(gòu)Fig. 3?Abstract architecture of video prediction model

為解決使用l1或者l2損失函數(shù)導致的圖像模糊問題，文獻[70]使用對抗訓練方法。使用對抗訓練方法，模型生成的圖像更銳利。然而僅優(yōu)化對抗損失函數(shù)會產(chǎn)生訓練不穩(wěn)定問題，生成器生成的圖像通常可以生成“迷惑”鑒別器的樣本，然而卻與真實樣本Y并不相似。為解決這個問題，作者使生成器采用對抗損失和lp組合損失函數(shù)。通過加入損失函數(shù)迫使預測圖像的分布與真實圖像的分布保持一致。

Mathieu等[70]還提出一種圖像梯度差分損失，通過引入近鄰圖像強度差異來懲罰預測樣本和真實樣本之間的梯度不一致性。最終生成器損失函數(shù)為對抗損失、l2損失和圖像梯度差分損失的加權(quán)和。Mathieu的實驗結(jié)果表明，使用對抗損失函數(shù)和梯度差分損失函數(shù)，性能要超過僅使用l2損失函數(shù)，并且在圖像銳利度上要遠好于l2損失函數(shù)。Hintz[71]受文獻[70]的啟發(fā)，將生成器替換為儲蓄池計算，鑒別器結(jié)構(gòu)以及訓練方法與文獻[70]保持相同。作者在UCF-101數(shù)據(jù)集上的實驗結(jié)果表明，雖然其在PSNR和SSIM評測上結(jié)果略低于文獻[70]，但其收斂時間明顯快于前者，也取得了相當好的結(jié)果。

圖像語義分割具有廣泛的應用價值。Luc等[85]在文獻[70]的基礎上，使用多尺度架構(gòu)和對抗訓練方法來預測語義分割圖像。實驗結(jié)果表明，預測語義分割圖像的精度要好于直接預測RGB圖像，且預測分割圖像的平均IoU達到了真實圖像分割結(jié)果的2/3。

表 2?視頻預測算法概覽Tab.2?Overview of video prediction algorithms

Vondrick等[43]提出使用時空卷積生成對抗網(wǎng)絡的視頻預測模型VGNN，該模型利用時空卷積網(wǎng)絡將前景和背景解耦。本文使用生成對抗網(wǎng)絡從潛在編碼向量生成高維視頻，分別提出了由時空卷積和反卷積組成的單流架構(gòu)，以及可以建模靜態(tài)的背景和動態(tài)的前景的雙流架構(gòu)。該模型在超過200萬條視頻上訓練后可以自己“創(chuàng)作”視頻內(nèi)容。作者以自編碼器架構(gòu)作為基準，經(jīng)“亞馬遜土耳其機器人”測試。結(jié)果表明，雙流對抗網(wǎng)絡性能優(yōu)于對應的單流對抗網(wǎng)絡，遠優(yōu)于自編碼器網(wǎng)絡，甚至有20%的人認為模型生成的視頻比自然視頻更“真實”。在預測未來幀問題上，Vondrick等在生成器前加入一個編碼器，將靜態(tài)圖片編碼為潛在編碼向量，作為雙流生成對抗網(wǎng)絡的輸入，生成模型可以生成32幀的視頻(一般視頻是25幀/秒，因此模型可以生成約1.5 s的視頻)。結(jié)果表明，生成器生成的視頻雖然不是嚴格意義上的正確視頻，但在語義上是可接受的。

Vondrick等最終把通過無監(jiān)督方式學習到的鑒別模型參數(shù)用在監(jiān)督學習任務上(例如動作分類)，將鑒別器最后一層替換為Softmax分類器。實驗結(jié)果表明，使用無監(jiān)督學習到的參數(shù)初始化分類器，在同樣樣本量大小情況下，其分類性能高于隨機初始化的網(wǎng)絡，對比效果圖見圖4。Jin等[79]使用基于生成對抗網(wǎng)絡的時空特征學習方法，結(jié)合預測轉(zhuǎn)向解析模型，可以增強現(xiàn)有的場景解析模型。其實驗結(jié)果表明，其在Cityscapes視頻分割數(shù)據(jù)集上取得了較好的結(jié)果。

Denton等[88]也提出將視頻背景內(nèi)容和運動前景分開編碼的視頻表征分解模型，與文獻[80]不同的是，文獻[88]是以生成對抗網(wǎng)絡的方式訓練背景內(nèi)容編碼器、運動姿勢編碼器以及解碼器。在KTH數(shù)據(jù)集上的實驗結(jié)果表明，文獻[88]的視頻預測在準確性和圖像銳利性方面要好于文獻[80]。作者還提出，背景內(nèi)容編碼器可以構(gòu)建圖像分類模型，運動前景編碼器可以構(gòu)建視頻動作分類模型。

與文獻[68]類似，Yan等[67]基于條件GAN架構(gòu)，用人體骨骼作為輔助信息，可以生成多幀栩栩如生的運動視頻。

Chen等[86]提出一種雙向預測網(wǎng)絡來進行視頻插值，該模型采用編碼器—解碼器架構(gòu)，通過兩個編碼器分別編碼起始幀和結(jié)尾幀，從而產(chǎn)生一個潛在表征，解碼器以潛在表征作為輸入來生成多幀插值視頻。該模型采用多尺度架構(gòu)，其損失函數(shù)為l2重建損失、特征空間損失(以AlexNet最后一個卷積層提取到的特征作為基準)與對抗損失的加權(quán)和。該模型在合成2D數(shù)據(jù)集和UCF101數(shù)據(jù)集上的結(jié)果表明，其比基于光流場的模型的效果要更好。

5 結(jié)束語

當前深度有監(jiān)督學習在計算機視覺、自然語言處理和機器翻譯等領(lǐng)域取得了遠超傳統(tǒng)方法的性能，但這些成就多屬于深度學習在感知層面的工作，這屬于人工智能的第一步；下一步就是讓機器能夠理解自然界變化的規(guī)律，對自然界動態(tài)進行建模，使其能夠?qū)ΜF(xiàn)實世界中將要發(fā)生的事情進行預測，要達到這一步，需要借助于無監(jiān)督學習。無監(jiān)督學習因其可以在自然界海量的無標注數(shù)據(jù)上進行訓練，且應用范圍廣泛，因而被譽為“深度學習的圣杯”。

視頻預測作為無監(jiān)督學習的一個最新的也是最有前景的研究方向之一，其意義不僅在于能夠很好地建模視頻場景來推測未來視頻，從而幫助機器能夠更好地決策，還在于其以無監(jiān)督方式學習到的內(nèi)部視覺表征可以加速或提升弱監(jiān)督學習和有監(jiān)督學習的性能，因此得到了越來越多學者的關(guān)注，也取得了非常多的進展。但是，現(xiàn)有的方法仍舊存在許多不足：

1)當前提出的各種模型，結(jié)構(gòu)比較單一，多數(shù)是基于自編碼器、遞歸神經(jīng)網(wǎng)絡(包括LSTM)和生成對抗網(wǎng)絡，雖然這些架構(gòu)取得了不錯的效果，但是仍無法高效建模自然界復雜的動態(tài)結(jié)構(gòu)，導致當前的模型僅能預測有限的幾幀或者幾十幀圖像，且在預測的后期畫面會變模糊或者失去語義信息。

	Download: ?JPG??larger image
圖 4?在UCF101數(shù)據(jù)集上，VGAN鑒別器參數(shù)初始化分類器、隨機值初始化分類器以及隨機猜測類別的性能對比Fig. 4?Performance comparison of classifier initialized by VGAN discriminator’s parameters, classifier initialized by random value and random classification on UCF101

2)目前學術(shù)界使用的視頻預測損失函數(shù)比較單一，常使用的損失函數(shù)是均方誤差損失、對抗損失函數(shù)和圖像梯度差分損失函數(shù)。因為圖像具有高維復雜結(jié)構(gòu)信息，當前常用損失函數(shù)沒有充分考慮結(jié)構(gòu)信息，導致模型預測的圖像缺乏語義信息。另外，使用峰值信噪比、結(jié)構(gòu)相似性作為圖像評價標準，與人眼的視覺感知并不完全一致，人眼的視覺對于誤差的敏感度并不是絕對的，其感知結(jié)果會受到許多因素的影響而產(chǎn)生變化，因此在圖形評價指標上仍有待研究。

3)理論上，預測視頻動態(tài)在機器人決策、無人駕駛和視頻監(jiān)控系統(tǒng)等領(lǐng)域具有廣泛的應用價值，但當前視頻預測的研究多數(shù)在學術(shù)界，且研究處于早期階段，具體在工業(yè)界的應用還未起步。

視頻預測學習是理解和建模自然界場景動態(tài)的有力手段，也是無監(jiān)督學習的一個新的、重要的突破點，盡管該領(lǐng)域的研究面臨著不少挑戰(zhàn)和未解決的問題，但當前認知科學和深度學習領(lǐng)域發(fā)展非常迅速，尤其是在增強學習、半監(jiān)督學習和無監(jiān)督學習方向，且當前的計算機計算能力越來越強，這些有利因素定會加速視頻預測研究的進展。

參考文獻

[1]	LECUN Y. Predictive Learning[R]//Proceedings of the 30th Annual Conference on Neural Information Processing Systems. Barcelona, Spain, 2016?(1)
[2]	LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.?DOI:10.1038/nature14539?(2)
[3]	KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 26th Annual Conference on Neural Information Processing Systems 2012. South Lake Tahoe, NV, USA, 2012: 1097–1105.?(2)
[4]	HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification[C]//Proceedings of the 2015 IEEE International Conference on Computer Vision. Santiago, Chile, 2015: 1026–1034.?(2)
[5]	SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[Z]. arXiv preprint arXiv: 1409.1556, 2014.?(1)
[6]	HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA, 2016: 770–778.?(2)
[7]	HINTON G, DENG Li, YU Dong, et al. Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups[J]. IEEE signal processing magazine, 2012, 29(6): 82-97.?DOI:10.1109/MSP.2012.2205597?(2)
[8]	SUTSKEVER I, VINYALS O, LE Q V. Sequence to sequence learning with neural networks[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Quebec, Canada, 2014: 3104–3112.?(1)
[9]	BENGIO Y, DUCHARME R, VINCENT P, et al. A neural probabilistic language model[J]. Journal of machine learning research, 2003, 3: 1137-1155.?(1)
[10]	MNIH V, KAVUKCUOGLU K, SILVER D, et al. Playing atari with deep reinforcement learning[Z]. arXiv preprint arXiv: 1312.5602, 2013.?(1)
[11]	SILVER D, HUANG A, MADDISON C J, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature, 2016, 529(7587): 484-489.?DOI:10.1038/nature16961?(1)
[12]	DENG Jia, DONG Wei, SOCHER R, et al. ImageNet: A large-scale hierarchical image database[C]//Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA, 2009: 248–255.?(1)
[13]	SRIVASTAVA N, MANSIMOV E, SALAKHUDINOV R. Unsupervised learning of video representations using LSTMs[C]//Proceedings of the 32nd International Conference on Machine Learning. Lille, France, 2015: 843–852.?(8)
[14]	MCCULLOCH W S, PITTS W. A logical calculus of the ideas immanent in nervous activity[J]. The bulletin of mathematical biophysics, 1943, 5(4): 115-133.?DOI:10.1007/BF02478259?(1)
[15]	HEBB D O. The organization of behavior: A neuropsychological theory[M]. New York: Chapman & Hall, 1949.(1)
[16]	MINSKY M L, PAPERT S A. Perceptrons: an introduction to computational geometry[M]. 2nd ed. Cambridge, UK: MIT Press, 1988.?(1)
[17]	RUMELHART D E, HINTON G E, WILLIAMS R J. Learning representations by back-propagating errors[J]. Nature, 1986, 323(6088): 533-536.?DOI:10.1038/323533a0?(1)
[18]	LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.?DOI:10.1109/5.726791?(3)
[19]	HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006, 18(7): 1527-1554.?DOI:10.1162/neco.2006.18.7.1527?(1)
[20]	JORDAN M I. Serial order: A parallel distributed processing approach[J]. Advances in psychology, 1997, 121: 471-495.?DOI:10.1016/S0166-4115(97)80111-2?(2)
[21]	BENGIO Y. Learning deep architectures for AI[J]. Foundations and trends in machine learning, 2009, 2(1): 1-127.?DOI:10.1561/2200000006?(3)
[22]	GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Quebec, Canada, 2014: 2672–2680.?(2)
[23]	BENGIO Y, COURVILLE A, VINCENT P. Representation learning: a review and new perspectives[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(8): 1798-1828.?DOI:10.1109/TPAMI.2013.50?(1)
[24]	HUBEL D H, WIESEL T N. Receptive fields and functional architecture of monkey striate cortex[J]. The journal of physiology, 1968, 195(1): 215-243.?DOI:10.1113/jphysiol.1968.sp008455?(1)
[25]	FUKUSHIMA K, MIYAKE S. Neocognitron: a self-organizing neural network model for a mechanism of visual pattern recognition[M]//AMARI S I, ARBIB M A. Competition and Cooperation in Neural Nets. Berlin Heidelberg: Springer, 1982: 267–285.?(1)
[26]	ZEILER M D, KRISHNAN D, TAYLOR G W, et al. Deconvolutional networks[C]//Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. San Francisco, CA, USA, 2010: 2528–2535.?(1)
[27]	NOH H, HONG S, HAN B. Learning deconvolution network for semantic segmentation[C]//Proceedings of the 2015 IEEE International Conference on Computer Vision. Santiago, Chile, 2015: 1520–1528.?(1)
[28]	RADFORD A, METZ L, CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks[Z]. arXiv preprint arXiv: 1511.06434, 2015.?(3)
[29]	JI Shuiwang, XU Wei, YANG Ming, et al. 3D convolutional neural networks for human action recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(1): 221-231.?DOI:10.1109/TPAMI.2012.59?(1)
[30]	HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural computation, 1997, 9(8): 1735-1780.?DOI:10.1162/neco.1997.9.8.1735?(1)
[31]	GERS F A, SCHMIDHUBER J. Recurrent nets that time and count[C]//Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks. Como, Italy, 2000, 3: 189–194.?(1)
[32]	CHO K, VAN MERRIENBOER B, GULCEHRE C, et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[Z]. arXiv preprint arXiv: 1406.1078, 2014.?(1)
[33]	SHI Xingjian, CHEN Zhourong, WANG Hao, et al. Convolutional LSTM network: a machine learning approach for precipitation nowcasting[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal, Quebec, Canada, 2015: 802–810.?(1)
[34]	VINCENT P, LAROCHELLE H, LAJOIE I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J].?Journal of machine learning research, 2010, 11: 3371-3408.?(1)
[35]	NG A. Sparse autoencoder[R]. CS294A Lecture Notes, 2011: 72.?(1)
[36]	KINGMA D P, WELLING M. Auto-encoding variational bayes[Z]. arXiv preprint arXiv: 1312.6114, 2013.?(1)
[37]	REZENDE D J, MOHAMED S, WIERSTRA D. Stochastic backpropagation and approximate inference in deep generative models[Z]. arXiv preprint arXiv: 1401.4082, 2014.?(1)
[38]	MIRZA M, OSINDERO S. Conditional generative adversarial nets[Z]. arXiv preprint arXiv: 1411.1784, 2014.?(1)
[39]	CHEN Xi, DUAN Yan, HOUTHOOFT R, et al. InfoGAN: interpretable representation learning by information maximizing generative adversarial nets[C]//Proceedings of the 30th Annual Conference on Neural Information Processing Systems. Barcelona, Spain, 2016: 2172–2180.?(1)
[40]	LEDIG C, THEIS L, HUSZáR F, et al. Photo-realistic single image super-resolution using a generative adversarial network[Z]. arXiv preprint arXiv: 1609.04802, 2016.?(1)
[41]	WU Jiajun, ZHANG Chengkai, XUE Tianfan, et al. Learning a probabilistic latent space of object shapes via 3D generative-adversarial modeling[C]//Proceedings of the 30th Annual Conference on Neural Information Processing Systems. Barcelona, Spain, 2016: 82–90.?(1)
[42]	ISOLA P, ZHU Junyan, ZHOU Tinghui, et al. Image-to-image translation with conditional adversarial networks[Z]. arXiv preprint arXiv: 1611.07004, 2016.?(1)
[43]	VONDRICK C, PIRSIAVASH H, TORRALBA A. Generating videos with scene dynamics[C]//Proceedings of the 30th Annual Conference on Neural Information Processing Systems. Barcelona, Spain, 2016: 613–621.?(6)
[44]	VONDRICK C, PIRSIAVASH H, TORRALBA A. Anticipating visual representations from unlabeled video[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, Nevada, USA, 2016: 98–106.?(2)
[45]	LAN Tian, CHEN T C, SAVARESE S. A hierarchical representation for future action prediction[C]//Proceedings of the 13th European Conference on Computer Vision. Zürich, Switzerland, 2014: 689–704.?(1)
[46]	HOAI M, DE LA TORRE F. Max-margin early event detectors[J]. International journal of computer vision, 2014, 107(2): 191-202.?DOI:10.1007/s11263-013-0683-3?(1)
[47]	RYOO M S. Human activity prediction: Early recognition of ongoing activities from streaming videos[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision. Barcelona, Spain, 2011: 1036–1043.?(1)
[48]	VU T H, OLSSON C, LAPTEV I, et al. Predicting actions from static scenes[C]//Proceedings of the 13th European Conference on Computer Vision. Zürich, Switzerland, 2014: 421–436.?(1)
[49]	PEI Mingtao, JIA Yunde, ZHU Songchun. Parsing video events with goal inference and intent prediction[C]//Proceedings of the 2011 IEEE International Conference on Computer vision. Barcelona, Spain, 2011: 487–494.?(1)
[50]	FOUHEY D F, ZITNICK C L. Predicting object dynamics in scenes[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA, 2014: 2027–2034.?(1)
[51]	KOPPULA H S, SAXENA A. Anticipating human activities using object affordances for reactive robotic response[J]. IEEE transactions on pattern analysis and machine intelligence, 2016, 38(1): 14-29.?DOI:10.1109/TPAMI.2015.2430335?(1)
[52]	HUANG Dean, KITANI K M. Action-reaction: Forecasting the dynamics of human interaction[C]//Proceedings of the 13th European Conference on Computer Vision. Zürich, Switzerland, 2014: 489–504.?(1)
[53]	PICKUP L C, PAN Zheng, WEI Donglai, et al. Seeing the arrow of time[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA, 2014: 2043–2050.?(1)
[54]	LAMPERT C H. Predicting the future behavior of a time-varying probability distribution[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA, 2015: 942–950.?(1)
[55]	PINTEA S L, VAN GEMERT J C, SMEULDERS A W M. Déja vu: Motion prediction in static images[C]//Proceedings of the 13th European Conference on Computer Vision. Zürich, Switzerland, 2014: 172–187.?(1)
[56]	KITANI K M, ZIEBART B D, BAGNELL J A, et al. Activity forecasting[C]//Proceedings of the 12th European Conference on Computer Vision. Florence, Italy, 2012: 201–214.?(2)
[57]	GONG Haifeng, SIM J, LIKHACHEV M, et al. Multi-hypothesis motion planning for visual object tracking[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision. Barcelona, Spain, 2011: 619–626.?(1)
[58]	KOOIJ J F P, SCHNEIDER N, FLOHR F, et al. Context-based pedestrian path prediction[C]//Proceedings of the 13th European Conference on Computer Vision. Zürich, Switzerland, 2014: 618–633.?(1)
[59]	WALKER J, DOERSCH C, GUPTA A, et al. An uncertain future: Forecasting from static images using variational autoencoders[C]//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, Netherlands, 2016: 835–851.?(1)
[60]	WALKER J, GUPTA A, HEBERT M. Dense optical flow prediction from a static image[C]//Proceedings of the 2015 IEEE International Conference on Computer Vision. Santiago, Chile, 2015: 2443–2451.?(1)
[61]	WALKER J, GUPTA A, HEBERT M. Patch to the future: Unsupervised visual prediction[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA, 2014: 3302–3309.(1)
[62]	YUEN J, TORRALBA A. A data-driven approach for event prediction[C]//Proceedings of the 11th European Conference on Computer Vision. Heraklion, Crete, Greece, 2010: 707–720.?(1)
[63]	MOTTAGHI R, RASTEGARI M, GUPTA A, et al. " What happens if...” learning to predict the effect of forces in images[C]//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, Netherlands, 2016: 269–285.?(1)
[64]	SCHUKDT C, LAPTEV I, CAPUTO B. Recognizing human actions: a local SVM approach[C]//Proceedings of the 17th International Conference on Pattern Recognition. Cambridge, UK, 2004, 3: 32–36.?(2)
[65]	VUKOTI V, PINTEA S L, RAYMOND C, et al. One-step time-dependent future video frame prediction with a convolutional encoder-decoder neural network[C]//Proceedings of the 19th International Conference on Image Analysis and Processing. Catania, Italy, 2017: 140–151.?(5)
[66]	IONESCU C, PAPAVA D, OLARU V, et al. Human3.6M: Large scale datasets and predictive methods for 3D human sensing in natural environments[J]. IEEE transactions on pattern analysis and machine intelligence, 2014, 36(7): 1325-1339.?DOI:10.1109/TPAMI.2013.248?(2)
[67]	YAN Yichao, XU Jingwei, NI Bingbing, et al. Skeleton-aided articulated motion generation[Z]. arXiv preprint arXiv: 1707.01058, 2017.?(5)
[68]	VILLEGAS R, YANG Jimei, ZOU Yuliang, et al. Learning to generate long-term future via hierarchical prediction[Z]. arXiv preprint arXiv: 1704.05831, 2017.?(6)
[69]	SOOMRO K, ZAMIR A R, SHAH M. UCF101: A dataset of 101 human actions classes from videos in the wild[Z]. arXiv preprint axXiv:1202.0402, 2012?(2)
[70]	MATHIEU M, COUPRIE C, LECUN Y. Deep multi-scale video prediction beyond mean square error[Z]. arXiv preprint arXiv: 1511.05440, 2015.?(13)
[71]	HINTZ J J. Generative adversarial reservoirs for natural video prediction[D]. Austin, USA: The University of Texas.?(1)
[72]	VILLEGAS R, YANG Jimei, HONG S, et al. Decomposing motion and content for natural video sequence prediction[C]//Proceedings of the 2017 International Conference on Learning Representations. Toulon, France, 2017.?(3)
[73]	LIU Ziwei, et al. Video frame synthesis using deep voxel flow[C]//Proceeding of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, Hawaii, USA, 2017:4463–4471?(9)
[74]	GORBAN A, IDREES H, JIANG Yugang, et al. THUMOS challenge: Action recognition with a large number of classes[EB/OL]. (2015–05). http://www.thumos.info.?(2)
[75]	GEIGER A, LENZ P, STILLER C, et al. Vision meets robotics: the KITTI dataset[J]. The international journal of robotics research, 2013, 32(11): 1231-1237.?DOI:10.1177/0278364913491297?(2)
[76]	LOTTER W, KREIMAN G, COX D. Deep predictive coding networks for video prediction and unsupervised learning[Z]. arXiv preprint arXiv: 1605.08104, 2016.?(5)
[77]	Kuehne H, Jhuang H, Garrote E, et al. HMDB: A large video database for human motion recognition[C]//Proceeding of the 2011 IEEE International Conference on Computer Vision, ICCV. Barcelona, Spain, 2011:2556–2563.?(2)
[78]	CORDTS M, OMRAN M, RAMOS S, et al. The cityscapes dataset for semantic urban scene understanding[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA, 2016: 3213–3223.?(2)
[79]	JIN Xiaojie, LI Xin, XIAO Huaxin, et al. Video scene parsing with predictive feature learning[Z]. arXiv preprint arXiv: 1612.00119, 2016.?(3)
[80]	LOTTER W, KREIMAN G, COX D. Unsupervised learning of visual structure using predictive generative networks[Z]. arXiv preprint arXiv: 1511.06380, 2015.?(7)
[81]	YAN Xing, CHANG Hong, SHAN Shiguang, et al. Modeling video dynamics with deep dynencoder[C]//Proceedings of the 13th European Conference on Computer Vision. Zürich, Switzerland, 2014: 215–230.?(4)
[82]	RANZATO M, SZLAM A, BRUNA J, et al. Video (language) modeling: a baseline for generative models of natural videos[Z]. arXiv preprint arXiv: 1412.6604, 2014.?(3)
[83]	OH J, GUO Xiaoxiao, LEE H, et al. Action-conditional video prediction using deep networks in atari games[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal, Quebec, Canada, 2015: 2863–2871.?(3)
[84]	FINN C, GOODFELLOW I, LEVINE S. Unsupervised learning for physical interaction through video prediction[C]//Proceedings of the 30th Conference on Neural Information Processing Systems. Barcelona, Spain, 2016: 64–72.?(3)
[85]	LUC P, NEVEROVA N, COUPRIE C, et al. Predicting deeper into the future of semantic segmentation[Z]. arXiv preprint arXiv: 1703.07684, 2017.?(3)
[86]	CHEN Xiongtao, WANG Wenmin, WANG Jinzhou, et al. Long-term video interpolation with bidirectional predictive network[Z]. arXiv preprint arXiv: 1706.03947, 2017.?(3)
[87]	XUE Tianfan, WU Jiajun, BOUMAN K, et al. Visual dynamics: Probabilistic future frame synthesis via cross convolutional networks[C]//Proceedings of the 30th Annual Conference on Neural Information Processing Systems. Barcelona, Spain, 2016: 91–99.?(1)
[88]	DENTON E, BIRODKAR V. Unsupervised learning of disentangled representations from video[Z]. arXiv preprint arXiv: 1705.10915, 2017.?(3)

?

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的基于深度学习的视频预测研究综述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。