文章目錄

• • 相同點(diǎn)
  • 不同點(diǎn)
  • 組合意義
  • 組合方式
  • 圖片標(biāo)注
  • 基本思路
  • 模型設(shè)計(jì)－數(shù)據(jù)準(zhǔn)備
  • 視頻行為識(shí)別
  • 視頻行為識(shí)別
  • 圖片問(wèn)答

相同點(diǎn)

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的擴(kuò)展
前向計(jì)算產(chǎn)生結(jié)果，反向計(jì)算模型更新
每層神經(jīng)網(wǎng)絡(luò)橫向可以多個(gè)神經(jīng)元共存，縱向可以多層神經(jīng)網(wǎng)絡(luò)鏈接

不同點(diǎn)

CNN空間擴(kuò)展，神經(jīng)元與特征卷積，RNN時(shí)間擴(kuò)展，神經(jīng)元與多個(gè)時(shí)間輸出計(jì)算
RNN可用于描述時(shí)間上的連續(xù)狀態(tài)輸出，具有記憶功能，CNN靜態(tài)輸出
CNN100+深度 RNN深度有限

組合意義

大量信息同時(shí)具有時(shí)間空間特性：視頻，圖
文結(jié)合，真實(shí)的場(chǎng)景對(duì)話

帶有圖像的對(duì)話，文本表達(dá)更具體

視頻相對(duì)圖片描述的內(nèi)容更完整

組合方式

CNN 特征提取，用于RNN語(yǔ)句生成? 圖片標(biāo)注

RNN特征提取用于CNN內(nèi)容分類? 視頻分類

CNN特征提取用于對(duì)話問(wèn)答? 圖片問(wèn)答

特征提取：LSTM輸出，FC層輸出

特征合并：Concatenate 層；Attention 相乘

結(jié)果輸出：連續(xù)語(yǔ)句輸出 LSTM，組合分
類回歸 DNN

圖片標(biāo)注

問(wèn)題描述
? 擁有大量圖片及標(biāo)注信息，能否通過(guò)學(xué)習(xí)
建立一個(gè)能夠自動(dòng)圖片標(biāo)注的模型

基本思路

? 目標(biāo)是產(chǎn)生標(biāo)注的語(yǔ)句，是一個(gè)語(yǔ)句生成
的任務(wù)，LSTM？
? 描述的對(duì)象大量圖像信息，圖像信息表達(dá)，
CNN？
? CNN網(wǎng)絡(luò)中全連接層特征描述圖片，特
征與LSTM輸入結(jié)合？

全連接層特征用來(lái)描述原圖片
LSTM輸入：word＋圖片特征；輸出下一word

模型設(shè)計(jì)－數(shù)據(jù)準(zhǔn)備

圖片CNN特征提取

圖片標(biāo)注生成Word2Vect 向量

生成訓(xùn)練數(shù)據(jù)：圖片特征＋第n單詞向量：
第n＋1單詞向量

視頻行為識(shí)別

1. CNN 特征提取
2. LSTM融合
3. Linear regr＋Softmax分類
4. 1. 并不是所有的視頻圖像包含確定分類信息
5. RNN用于確定哪些frame是有用的
6. 對(duì)有用的圖像特征融合

視頻行為識(shí)別

RNN用于，目標(biāo)檢測(cè)

CNN直接產(chǎn)生目標(biāo)候選區(qū)

LSTM對(duì)產(chǎn)生候選區(qū)融合（相鄰時(shí)刻位置近
似）

確定最終的精確位置

多種模型綜合
? 競(jìng)賽／應(yīng)用中，為了產(chǎn)生最好結(jié)果，多采用
多模型ensemble形式

圖片問(wèn)答

方法流程
依舊按照語(yǔ)言問(wèn)答流程解決
圖片特征同語(yǔ)言
特征融合
訓(xùn)練數(shù)據(jù)：問(wèn)題＋圖片－答案
2. 模型設(shè)計(jì)－純文字問(wèn)答系統(tǒng)

背景故事
特征生成
(word embedding)

問(wèn)題特征生成

背景，問(wèn)題特征融合

標(biāo)準(zhǔn)答案回歸 用以訓(xùn)練的數(shù)據(jù)：真值是什么？ 融合特征：答案

總結(jié)

以上是生活随笔為你收集整理的CNN+RNN的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。