文章目錄

• • • $\alpha \beta$ 的分布
    • 面部表情和面部特征
    • 面法線和頂點法線
    • 和圖片進行配準
    • • 論文和實現的不同
      • 公式
      • Coarse to Fine

• 論文雖然講了很多內容但是主要被參考的是fit的部分, 也就是從2d重建回3d

$\alpha \beta$ 的分布

在這個數據集中作者估計了兩個參數的分布， 我估計應該是直接用所有的$\alpha$ $\beta$ 直接算出來的

其中${\sigma }_i$是形狀協方差陣的特征值。滿足多元正態分布。β同理

面部表情和面部特征

• 面部表情的系數是可以通過兩種不同的情緒的人的3d model差得到
  

• 對于面部特征, 例如性別，面部豐滿度，眉毛深色度，雙下巴以及鉤鼻和凹形鼻子, 這里可以給每個特征設置一個獨特的函數$\mu (S,T)$, 用下面的函數來表示:

這里每個標簽的$\mu$ 不太一樣, 作者想把這個$\mu$ 納入到一個統一的表達, 這里假定為線性函數, 對于整個人臉空間來說, 就只有一個優化的方向了, 這里通過上面的表達最小化一個方差歸一化長度:

面法線和頂點法線

法線和頂點法線講解

和圖片進行配準

• 這個其實是論文中的理解的重點

• 從3d model到2d這個過程叫Rendering , 需要很多參數, 這里作者用 $\rho$ 來表示, 這個向量包含了比如說相機位置, 物體大小, 旋轉平移參數, 環境光RGB強度, 直接光照RGB強度(這里用directed light表示, 用在漫反射和鏡面反射),

• 有些參數如相機距離, 光照方向, 反射度等按用戶自己估計的來

論文和實現的不同

• shading 翻譯成著色, 在圖形學中著色可以理解成對不同物體應用不同的材質， 比如金屬球， 木球， 它們和光線有不同的交互, 著色需要用到法線, 比如一個三角形我只用一個法線, 也可以說對三角形的每個像素都求個法線然后著色, 不同的著色方式就是不同的著色頻率, 這個為啥用頻率這個詞呢? 因為在每個像素點上顯示顏色本身就是對連續的圖片的采樣, 你用三角形的方式顯示自然采樣頻率就低, 用像素的方式自然采樣頻率高.

  原文中用的是Phone著色頻率, face3d中是用的Gouraud shading, 這兩種著色頻率的區別是Phone是對每個像素求法線, 求出頂點的法線后對其余像素做插值求法線, 對每個像素進行著色

  Gouraud shading 是求每個三角形的法線, 然后三角形中間的像素通過插值得到

• 投影得到的圖片, 在原論文中說的是透視投影, 在face3d中用的是正交投影
  

公式

下面是投影得到的圖

想讓模型渲染圖和輸入圖片的歐氏距離最小

根據貝葉斯定理， 在考慮到輸入圖片中存在噪聲的情況，引入高斯分布的標準誤差 ${\sigma }_N$

一維高斯分布是下面的樣子

因此最大化該后驗概率可以轉化為最小化以下代價函數：

這個E使用隨機選擇的3d model的表面點估計的, 對于每個三角形k, 顏色是根據光照模型得到的:

$l$ 是光照的方向，$v_k$ 是相機位置和三角形中心位置的正交化差值，$ r_{k} = 2(nl)n-l$是反射光的方向向量，$s$表示表面的反射率，冪$\nu$控制鏡面反射的角分布。(其實這個就是一些光的反射, 只不過公式沒用 $cos$ 表示)如果存在陰影投影到一個三角形的中心位置的時候，以上公式可以化簡為：

$I_{r,model,k}=i_{r,amb}{\bar{R}}_k$

對于高分辨的三維網格（即更密的三維網格）的時候，每個三角形之間的差異會變得很小，因此$E_I$可以由以下的公式近似得到：

$a_k$ 是三角形k對應的圖像區域(image area covered by triangle k)，如果被遮擋ak就是0, 在梯度下降中，mesh的不同三角形的回傳梯度可能是多余的。于是每次計算的時候，從$\kappa ?(1...n_t)$ 中隨機取出子集共40個三角形進行計算，$E_I$ 被替換為:

選擇 k 的概率是。這種隨機梯度下降的方法不僅在計算上更有效，而且通過向梯度估計添加噪聲來幫助避免局部最小值。

Coarse to Fine

為了避免局部最小值，該算法在幾個方面遵循粗到細策略:

總結

以上是生活随笔為你收集整理的关于3DMM的思考的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。