文章目錄

• • 相同點(diǎn)
  • 不同點(diǎn)
  • 組合意義
  • 組合方式
  • 圖片標(biāo)注
  • 基本思路
  • 模型設(shè)計(jì)－數(shù)據(jù)準(zhǔn)備
  • 視頻行為識(shí)別
  • 視頻行為識(shí)別
  • 圖片問答

相同點(diǎn)

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的擴(kuò)展
前向計(jì)算產(chǎn)生結(jié)果，反向計(jì)算模型更新
每層神經(jīng)網(wǎng)絡(luò)橫向可以多個(gè)神經(jīng)元共存，縱向可以多層神經(jīng)網(wǎng)絡(luò)鏈接

不同點(diǎn)

CNN空間擴(kuò)展，神經(jīng)元與特征卷積，RNN時(shí)間擴(kuò)展，神經(jīng)元與多個(gè)時(shí)間輸出計(jì)算
RNN可用于描述時(shí)間上的連續(xù)狀態(tài)輸出，具有記憶功能，CNN靜態(tài)輸出
CNN100+深度 RNN深度有限

組合意義

大量信息同時(shí)具有時(shí)間空間特性：視頻，圖
文結(jié)合，真實(shí)的場景對話

帶有圖像的對話，文本表達(dá)更具體

視頻相對圖片描述的內(nèi)容更完整

組合方式

CNN 特征提取，用于RNN語句生成? 圖片標(biāo)注

RNN特征提取用于CNN內(nèi)容分類? 視頻分類

CNN特征提取用于對話問答? 圖片問答

特征提取：LSTM輸出，FC層輸出

特征合并：Concatenate 層；Attention 相乘

結(jié)果輸出：連續(xù)語句輸出 LSTM，組合分
類回歸 DNN

圖片標(biāo)注

問題描述
? 擁有大量圖片及標(biāo)注信息，能否通過學(xué)習(xí)
建立一個(gè)能夠自動(dòng)圖片標(biāo)注的模型

基本思路

? 目標(biāo)是產(chǎn)生標(biāo)注的語句，是一個(gè)語句生成
的任務(wù)，LSTM？
? 描述的對象大量圖像信息，圖像信息表達(dá)，
CNN？
? CNN網(wǎng)絡(luò)中全連接層特征描述圖片，特
征與LSTM輸入結(jié)合？

全連接層特征用來描述原圖片
LSTM輸入：word＋圖片特征；輸出下一word

模型設(shè)計(jì)－數(shù)據(jù)準(zhǔn)備

圖片CNN特征提取

圖片標(biāo)注生成Word2Vect 向量

生成訓(xùn)練數(shù)據(jù)：圖片特征＋第n單詞向量：
第n＋1單詞向量

視頻行為識(shí)別

1. CNN 特征提取
2. LSTM融合
3. Linear regr＋Softmax分類
4. 1. 并不是所有的視頻圖像包含確定分類信息
5. RNN用于確定哪些frame是有用的
6. 對有用的圖像特征融合

視頻行為識(shí)別

RNN用于，目標(biāo)檢測

CNN直接產(chǎn)生目標(biāo)候選區(qū)

LSTM對產(chǎn)生候選區(qū)融合（相鄰時(shí)刻位置近
似）

確定最終的精確位置

多種模型綜合
? 競賽／應(yīng)用中，為了產(chǎn)生最好結(jié)果，多采用
多模型ensemble形式

圖片問答

方法流程
依舊按照語言問答流程解決
圖片特征同語言
特征融合
訓(xùn)練數(shù)據(jù)：問題＋圖片－答案
2. 模型設(shè)計(jì)－純文字問答系統(tǒng)

背景故事
特征生成
(word embedding)

問題特征生成

背景，問題特征融合

標(biāo)準(zhǔn)答案回歸 用以訓(xùn)練的數(shù)據(jù)：真值是什么？ 融合特征：答案

總結(jié)

以上是生活随笔為你收集整理的CNN+RNN的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。