目錄

整理最近學(xué)習(xí) visual-reasoning的筆記

1. 關(guān)注 ACL、EMNLP、NAACLI等會議文章

未開始

2. Cyc項目

2.1 cyc知識庫介紹：

? 該知識庫包含了320w條人類斷言，30w概念，15000謂詞。

? Cyc知識庫中表示的知識一般形如“每棵樹都是植物”、“植物最終都會死亡”。當(dāng)提出“樹是否會死亡”的問題時，推理引擎可以得到正確的結(jié)論，并回答該問題。

? cyc中的概念被稱為常量，主要有以下幾種常量。

• 個體

• 集合

• 真值函數(shù)

• 函數(shù)

• 謂詞

  • 最重要的謂詞是#isa 以及 #genls。 #isa 表示某個對象是某個集合的個體，#genls表示某個集合是另一個集合的子集。

  句子中可以包含變量，變量字符串以 "?"開頭，這些句子被稱為“規(guī)則”。

2.2 對Cyc項目的批評：（我們可以借鑒吸收的經(jīng)驗）

• 該系統(tǒng)具有創(chuàng)建百科全書式知識庫的野心，但卻手動添加所有的知識到系統(tǒng)中
  • 我們是否可以通過程序、腳本等輔助工具盡量自動化完成這一工作
• 其他都是一些技術(shù)難點，比如對物質(zhì)概念的解釋難以令人滿意，缺乏測試系統(tǒng)，該系統(tǒng)在廣度和深度上都有待完善。

3. WordNet

3.1 介紹

? 常規(guī)詞典忽略了詞典中同義信息的組織問題。WordNet將詞匯分成五個大類：名詞、動詞、形容詞、副詞和虛詞。 特色之處在于根據(jù)詞義來組織詞匯信息，按照詞匯的矩陣模型組織的。

? WordNet中單詞關(guān)系包括如下幾種：同義關(guān)系、反義關(guān)系、上下位關(guān)系、部分關(guān)系。

? 詞形之間的詞匯關(guān)系：同義關(guān)系、反義關(guān)系

? 詞義之間的語義關(guān)系：上位關(guān)系（父集）、下位關(guān)系（子集）

WordNet 按照詞匯的矩陣模型組織

4. Conceptnet

ConceptNet 是一個大規(guī)模的多語言常識知識庫，其本質(zhì)為一個以自然語言的方式描述人類常識的大型語義網(wǎng)絡(luò)。ConceptNet 起源于一個眾包項目 Open Mind Common Sense，自 1999 年開始通過文本抽取、眾包、融合現(xiàn)有知識庫中的常識知識以及設(shè)計一些游戲從而不斷獲取常識知識。ConceptNet 中共擁有 36 種固定的關(guān)系，如 IsA、UsedFor、CapableOf 等，圖 4 給出了一個具體的例子，從中可以更加清晰地了解 ConceptNet 的結(jié)構(gòu)。ConceptNet 目前擁有 304 個語言的版本，共有超過 390 萬個概念，2800 萬個聲明（statements，即語義網(wǎng)絡(luò)中邊的數(shù)量），正確率約為 81%。另外，ConceptNet 目前支持?jǐn)?shù)據(jù)集的完全下載。

5. visual question answering as reading comprehension 李暉老師文章

main contribution

• 將 vqa 轉(zhuǎn)換為 tqa任務(wù)，可以tqa的技術(shù)解決問題
• propose two type of vqa model
• it is easy to extend to adress knowledge based vqa

6. From Recognition fo Cognition: Visual Commonsense Reasoning

R2C Model

task

• 給定image, objects bbox ,query(question), four responses(answers), rationale，
• task 1:（Q -> A）對于一個query, 從四個候選response 中選擇一個
• task 2: (QA -> R)如果選擇出正確的response， 從四個候選 retionale中選擇一個

可取之處：

• 利用到object bbox
  • Grounding 中：把名詞對應(yīng)roi image 的feature 加入 LSTM中，如上圖的【person 4】的 object feature
  • Contextualization: 讓 response 跟所有 object bbox feature 進行attention

不理解的地方：

• BERT 在網(wǎng)絡(luò)中發(fā)揮什么作用？對輸入的文本信息進行編碼？？
• Contextualization輸出的是什么信息？？？

7. FVQA

作者從 coco和imagenet 中挑選了 2190張圖片，這些圖片主要包含三類 visual concept :

• Object: 圖片中的真實實體（例如人、汽車、狗等）。它們是由兩個分別在MS-COCO和ImageNet上訓(xùn)練的Fast-RCNN模型得到的。同時還利用了一個image attribute model在沒有在圖像中定位的情況下標(biāo)注了92個objects。一共有326個不同的object class。
• Image Scene: 關(guān)于圖像中的場景信息（例如辦公室、臥室、海灘、森林等）。這是通過VGG-16在MIT Place 205-class數(shù)據(jù)集上訓(xùn)練得到的，同時使用了包含25個scene class的attribute classifier。最終一共包含221個不同的scene class。
• Action: Attribute model提供了24類不同的人或動物的動作，例如走路、跳躍、沖浪、游泳等。

而關(guān)于這些visual concept的knowledge則是從DBpedia、ConceptNet、WebChild等已有的外部KB中抽取的：

• DBpedia: 在DBpedia中存儲的數(shù)據(jù)是從Wikipedia中抽取的到的。在這個KB中，concepts根據(jù)SKOS Vocabulary被link到它們各自的categories或者super-categories。
• ConceptNet: 這個KB是由幾個commonsense關(guān)系組成的，例如UsedFor, CreatedBy和IsA。這篇文章中作者使用了11個common relationships來產(chǎn)生問題和答案。
• WebChild: 這個數(shù)據(jù)庫中包含了一些比較級關(guān)系，例如Faster、Bigger和Havier。

數(shù)據(jù)集構(gòu)造

數(shù)據(jù)集組成：

• knowledge base
  • 提供common sense
• image-question-answer
  • multiple-choices or other???

knowledge base中信息 類別

• CV 類
  • 獲取方式
    • 從coco數(shù)據(jù)集中提取 cv common sense
    • 用image captioning 的model生成，輸入大量圖片， 獲取cv commense sense
  • 類別：
    • 位置常識
    • action
    • image scene
• 非 CV類
  • 獲取方式
    • 各種常識性知識從 concept net等 knowledge base中抽取
  • 類別：
    • object
    • action
    • scene
    • 上述出現(xiàn)的名詞從kb中抽取 相關(guān)信息

knowledge base 存儲形式：

• 初步想法：
  • 三元組形式存儲
• 進一步：
  • 以圖的形式存儲（如何存儲，如何查詢 需要考慮）

轉(zhuǎn)載于:https://www.cnblogs.com/yeran/p/11318135.html

總結(jié)

以上是生活随笔為你收集整理的visual-reasoning 笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。