EfficientNeRF – Efficient Neural Radiance Fields：高效率的神經(jīng)輻射場(chǎng)CVPR2022
摘要：在本文中，提出了一種高效的基于nerf的三維場(chǎng)景表示和新視圖圖像合成方法——EfficientNeRF，分別加速了訓(xùn)練以及測(cè)試的過(guò)程。論文分析了采樣點(diǎn)的密度和權(quán)重分布，分別在粗階段和細(xì)階段提出了有效和關(guān)鍵的采樣，以顯著提高采樣效率。此外，設(shè)計(jì)了一種新的數(shù)據(jù)結(jié)構(gòu)，在測(cè)試過(guò)程中緩存整個(gè)場(chǎng)景，以加快渲染速度。

貢獻(xiàn)：
1、粗網(wǎng)絡(luò)：提出了有效采樣，它保持密集的體素，動(dòng)態(tài)的更新密度。粗略MLP僅推斷查詢(xún)密度大于零的有效樣本，從而節(jié)省了粗略階段的大部分時(shí)間。精細(xì)網(wǎng)絡(luò)：重點(diǎn)關(guān)注關(guān)鍵樣本的附近區(qū)域，以有效地采樣點(diǎn)。
2、測(cè)試階段，設(shè)計(jì)了一種新的基于樹(shù)的數(shù)據(jù)結(jié)構(gòu)，即NerfTree，以更有效地表示3D場(chǎng)景，可以快速緩存和查詢(xún)3D場(chǎng)景，從而將渲染速度提高。

1、網(wǎng)絡(luò)結(jié)構(gòu)

與采用從方向到顏色的隱式映射的原始NeRF不同，論文采用PlenOctree中的球形諧波模型，通過(guò)MLP網(wǎng)絡(luò)顯式預(yù)測(cè)顏色參數(shù)。它不僅提高了準(zhǔn)確性，而且有利于測(cè)試期間的離線緩存。pipeline如下圖：首先沿每條射線r均勻采樣Nc點(diǎn)，并從動(dòng)量密度體素Vσ中查詢(xún)密度。為密度σi>0的有效樣本計(jì)算其粗密度，獲得權(quán)重以計(jì)算最終射線顏色，并通過(guò)粗密度更新Vσ。權(quán)重為wi> $?$得到照顧。Ns個(gè)附近的樣本以較高分辨率沿射線r線性采樣。最后，通過(guò)精細(xì)MLP推斷精細(xì)密度和顏色參數(shù)，并通過(guò)體繪制預(yù)測(cè)光線顏色。

1、訓(xùn)練階段

動(dòng)量密度體素（Momentum Density Voxels ）：對(duì)于特定場(chǎng)景，所有光線共享任何世界坐標(biāo)x∈R³的密度。因此，構(gòu)建了分辨率為D×D×D的動(dòng)量密度體素Vσ，以存儲(chǔ)訓(xùn)練期間目標(biāo)場(chǎng)景上密度的最新全局值。由于每個(gè)點(diǎn)的密度σ≥0，我們將Vσ中的默認(rèn)密度值初始化為正數(shù)ε。這意味著Vσ中的所有點(diǎn)在開(kāi)始時(shí)都是有效樣本。
更新（Update）：對(duì)于位置為x∈R³的采樣點(diǎn)，我們通過(guò)粗MLP推斷其粗密度σ_c（x）。然后我們用σ_c（x）更新密度體素Vσ。我們?cè)黾恿艘粋€(gè)穩(wěn)定價(jià)值的動(dòng)力。具體來(lái)說(shuō)，我們首先將x轉(zhuǎn)換為3D體素索引 i ∈R³，

x_min、x_max∈R³表示場(chǎng)景的最小和最大世界坐標(biāo)邊界。
接下來(lái)，對(duì)于每個(gè)訓(xùn)練迭代，我們通過(guò)下式更新Vσ的索引i處的全局密度σ

Vσ反映了整個(gè)場(chǎng)景的最新密度分布，我們通過(guò)查詢(xún)直接獲得坐標(biāo)x處的密度屬性，而不是通過(guò)MLP模塊進(jìn)行計(jì)算。它主要減少了推斷時(shí)間，并用于指導(dǎo)動(dòng)態(tài)采樣過(guò)程。

粗階段的有效采樣（Valid Sampling）：從Vσ查詢(xún)最新的密度，并且只輸入具有全局密度的xi處Vσ[i]>0的點(diǎn)輸入MLP中，以下公式是與原始NeRF比較的加速度，主要是說(shuō)明速度得到了提升。

精細(xì)階段的關(guān)鍵采樣（Pivotal Sampling at the Fine Stage）：
在精細(xì)階段，應(yīng)該以更高的分辨率對(duì)3D點(diǎn)進(jìn)行采樣，以獲得更好的質(zhì)量。原始NeRF首先沿著遵循粗略權(quán)重分布的每條射線r采樣Nf點(diǎn)。然后通過(guò)精細(xì)MLP預(yù)測(cè)密度和顏色。由于精細(xì)階段的點(diǎn)數(shù)通常是Nc的2倍，因此在運(yùn)行期間需要更多的計(jì)算。為了在精細(xì)階段實(shí)現(xiàn)高效采樣，本文提出了一種關(guān)鍵采樣策略。
用位置xp定義點(diǎn)，其權(quán)重wp> $?$作為關(guān)鍵樣本，w_i表示x_i對(duì)光線r顏色的貢獻(xiàn)。重點(diǎn)關(guān)注關(guān)鍵樣本的附近區(qū)域，以推斷更詳細(xì)的密度和顏色。我們沿著每條射線r在x_p附近均勻采樣Ns點(diǎn)

假設(shè)有Np個(gè)關(guān)鍵點(diǎn)，關(guān)鍵樣本的比例可以表示為
細(xì)級(jí)的加速度比Af為

2、測(cè)試階段

用NerfTree表示場(chǎng)景（Represent Scene by NerfTree）：論文中為基于NeRF的方法設(shè)計(jì)了一種高效的基于樹(shù)的數(shù)據(jù)結(jié)構(gòu)，稱(chēng)為NerfTree，以加快推理速度。NerfTree可以離線存儲(chǔ)整個(gè)場(chǎng)景，從而消除粗略和精細(xì)的MLP。
NerfTree T={Vc，Vf}是一個(gè)2深度樹(shù)。第一深度緩存粗密集體素Vc，第二深度緩存細(xì)稀疏體素Vf，如圖所示。

Vc∈R^Dc×Dc×Dc只包含密度屬性，該屬性是通過(guò)粗MLP推斷每個(gè)體素網(wǎng)格的密度值來(lái)提取的。對(duì)于精細(xì)稀疏體素
第一維度N_V表示所有有效樣本的數(shù)量，第二維度表示大小為Df×Df×D的局部體素。Vf中的每個(gè)體素存儲(chǔ)從精細(xì)MLP推斷的密度和顏色參數(shù)。

論文中將該網(wǎng)絡(luò)與MVSNeRF、IBRNet、FastNeRF等都進(jìn)行了比較。具體不介紹

總結(jié)

以上是生活随笔為你收集整理的EfficientNeRF的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。