日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 综合教程 >内容正文

综合教程

Gram格拉姆矩阵在风格迁移中的应用

發布時間:2024/1/4 综合教程 53 生活家
生活随笔 收集整理的這篇文章主要介紹了 Gram格拉姆矩阵在风格迁移中的应用 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

Gram定義

n維歐式空間中任意k個向量之間兩兩的內積所組成的矩陣,稱為這k個向量的格拉姆矩陣(Gram matrix)

根據定義可以看到,每個Gram矩陣背后都有一組向量,Gram矩陣就是由這一組向量兩兩內積得到的,先說一下向量內積是做什么的。

向量的內積,也叫向量的點乘,對兩個向量執行內積運算,就是對這兩個向量對應位一一相乘之后求和的操作,內積的結果是一個標量。例如對于向量a和向量b:


a和b的內積公式為:

兩個向量的內積有什么用呢?一個重要的應用就是可以根據內積判斷向量a和向量b之間的夾角和方向關系(詳細推導可參見:https://blog.csdn.net/dcrmg/article/details/52416832),具體來說:

a·b>0 方向基本相同,夾角在0°到90°之間
a·b=0 正交,相互垂直
a·b<0 方向基本相反,夾角在90°到180°之間

簡單來說就是內積可以反映出兩個向量之間的某種關系或聯系。Gram矩陣是兩兩向量的內積組成的,所以Gram矩陣可以反映出該組向量中各個向量之間的某種關系

風格遷移中的Gram矩陣

深度學習中經典的風格遷移大體流程是:
1. 準備基準圖像和風格圖像
2. 使用深層網絡分別提取基準圖像(加白噪聲)和風格圖像的特征向量(或者說是特征圖feature map)
3. 分別計算兩個圖像的特征向量的Gram矩陣,以兩個圖像的Gram矩陣的差異最小化為優化目標,不斷調整基準圖像,使風格不斷接近目標風格圖像

這里邊比較關鍵的一個是在網絡中提取的特征圖,一般來說淺層網絡提取的是局部的細節紋理特征,深層網絡提取的是更抽象的輪廓、大小等信息。這些特征總的結合起來表現出來的感覺就是圖像的風格,由這些特征向量計算出來的的Gram矩陣,就可以把圖像特征之間隱藏的聯系提取出來,也就是各個特征之間的相關性高低。如果兩個圖像的特征向量的Gram矩陣的差異較小,就可以認定這兩個圖像風格是相近的。

總的來說,Gram Matrix可看做是圖像各特征之間的偏心協方差矩陣(即沒有減去均值的協方差矩陣),Gram計算的是兩兩特征之間的相關性,哪兩個特征是同時出現的,哪兩個是此消彼長的等等。另一方面,Gram的對角線元素,還體現了每個特征在圖像中出現的量,因此,Gram矩陣可以度量各個維度自己的特性以及各個維度之間的關系,所以可以反映整個圖像的大體風格。只需要比較Gram矩陣就可以比較兩個圖像的風格差異了。

總結

以上是生活随笔為你收集整理的Gram格拉姆矩阵在风格迁移中的应用的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。