“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更遠(yuǎn)。在科研的道路上，更需借助東風(fēng)才能更快前行。為此，我們特別搜集整理了一些實(shí)用的代碼鏈接，數(shù)據(jù)集，軟件，編程技巧等，開(kāi)辟“他山之石”專(zhuān)欄，助你乘風(fēng)破浪，一路奮勇向前，敬請(qǐng)關(guān)注。

作者：知乎—尹相楠

原文地址：https://zhuanlan.zhihu.com/p/310710051

前幾天研究了傳統(tǒng)的美顏算法，了解到雙邊濾波(bilateral filtering)。在看懂原理后，為加深理解，抽時(shí)間用 pytorch 重新造了個(gè)輪子。雖然效率肯定比不上 opencv ，但當(dāng)個(gè)小練習(xí)也不錯(cuò)。為了方便復(fù)習(xí)以及幫助初學(xué)者，在此記錄。

01

高斯濾波1. 高斯核函數(shù)圖像領(lǐng)域的高斯濾波器是個(gè)二維的矩陣。矩陣中每個(gè)元素的值與它與矩陣中心的距離有關(guān)，計(jì)算公式就是二維高斯函數(shù)的公式：為了讓卷積前后的圖像亮度保持不變，需要對(duì) (1) 計(jì)算的矩陣歸一化(除以矩陣所有元素的和)，因此 (1) 中 exp 之前的系數(shù)部分可以省略。生成高斯濾波器的代碼如下：@torch.no_grad()def getGaussianKernel(ksize, sigma=0): if sigma <= 0: # 根據(jù) kernelsize 計(jì)算默認(rèn)的 sigma，和 opencv 保持一致 sigma = 0.3 * ((ksize - 1) * 0.5 - 1) + 0.8 center = ksize // 2 xs = (np.arange(ksize, dtype=np.float32) - center) # 元素與矩陣中心的橫向距離 kernel1d = np.exp(-(xs ** 2) / (2 * sigma ** 2)) # 計(jì)算一維卷積核 # 根據(jù)指數(shù)函數(shù)性質(zhì)，利用矩陣乘法快速計(jì)算二維卷積核 kernel = kernel1d[..., None] @ kernel1d[None, ...] kernel = torch.from_numpy(kernel) kernel = kernel / kernel.sum() # 歸一化 return kernel2. 高斯濾波器pytorch 自帶的 conv2d 可以很方便地對(duì)圖像施加高斯濾波，代碼如下：def GaussianBlur(batch_img, ksize, sigma=None): kernel = getGaussianKernel(ksize, sigma) # 生成權(quán)重 B, C, H, W = batch_img.shape # C：圖像通道數(shù)，group convolution 要用到 # 生成 group convolution 的卷積核 kernel = kernel.view(1, 1, ksize, ksize).repeat(C, 1, 1, 1) pad = (ksize - 1) // 2 # 保持卷積前后圖像尺寸不變 # mode=relfect 更適合計(jì)算邊緣像素的權(quán)重 batch_img_pad = F.pad(batch_img, pad=[pad, pad, pad, pad], mode='reflect') weighted_pix = F.conv2d(batch_img_pad, weight=kernel, bias=None, stride=1, padding=0, groups=C) return weighted_pix關(guān)于 group convolution，如果不熟悉可以看我這篇回答：什么是「Grouped Convolution」？https://www.zhihu.com/question/60484190/answer/1507783179

02

雙邊濾波高斯濾波器的權(quán)重完全由距離決定。在大塊顏色差不多、偶有噪點(diǎn)的區(qū)域，它可以把顏色平均化，從而過(guò)濾掉噪點(diǎn)。但是在顏色變化劇烈的邊緣區(qū)域，它還是一視同仁地把所有像素做加權(quán)平均，這讓本應(yīng)該清晰銳利的邊緣也變得模糊不清了，這就造成了如下圖所示的效果，在做人像美顏時(shí)是不希望看到的。這里，就引入了雙邊濾波(bilateral filtering)。雙邊濾波的權(quán)重公式也基于高斯函數(shù)。但和高斯濾波的區(qū)別是，決定卷積核權(quán)重的，不單純是像素之間的空間距離，還包括像素之間的亮度差異。以卷積核中心為坐標(biāo)原點(diǎn)，該處像素值為I(0,0)。那么，坐標(biāo)為 (u, v) 處的像素，對(duì)應(yīng)的權(quán)重為：(2) 中 exp 的第一個(gè)指數(shù)項(xiàng)和高斯核函數(shù)相同，與像素的空間距離有關(guān)；第二個(gè)指數(shù)項(xiàng)則是像素值距離的函數(shù)。以e為底對(duì)這兩項(xiàng)做指數(shù)運(yùn)算，再相乘即得到了公式 (2)。根據(jù)公式 (2) 計(jì)算的卷積核有如下性質(zhì)：

• 距離中心像素越遠(yuǎn)的像素，其權(quán)重就越小
• 亮度和中心像素亮度差異越大的像素，其權(quán)重就越小

第一條比較好理解，第二條的含義是，像素只和與自己相似的像素求平均，不和與自己差別太大的像素求平均。例如上圖中，人臉部分的像素和背景部分的像素差異過(guò)于顯著，這將導(dǎo)致在對(duì)邊緣區(qū)域做卷積時(shí)，背景側(cè)像素對(duì)人臉側(cè)的像素的權(quán)重極小，反之同理。這就達(dá)到了保持邊緣 (edge-preserving) 的特性。

03

代碼實(shí)現(xiàn)由于 (2) 中卷積核的權(quán)重不僅僅依賴于空間距離，還依賴于像素的亮度，因此卷積核的權(quán)重是不固定的，不能簡(jiǎn)單地利用 pytorch 的 conv2d 來(lái)實(shí)現(xiàn)。pytorch 的 tensor 自帶了一個(gè) unfold 方法，正好可以用在這里。unfold 的作用是把圖像拆分成 patch，每個(gè)patch 為卷積核覆蓋的像素。下面舉個(gè)小例子：import torchx = torch.arange(12).view(3, 4)xOut[4]: tensor([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]])# 沿著行，以步長(zhǎng) 1 拆分 x，每個(gè) patch 為 2 行，列保持不變，y = x.unfold(dimension=0, size=2, step=1) y.shapeOut[6]: torch.Size([2, 4, 2])y[0]Out[7]: tensor([[0, 4], [1, 5], [2, 6], [3, 7]])y[1]Out[8]: tensor([[ 4, 8], [ 5, 9], [ 6, 10], [ 7, 11]])# 直接對(duì) y 的第二個(gè)維度拆分，例如拆分成 3 列，步長(zhǎng)仍為 1z = y.unfold(dimension=1, size=3, step=1)z.shapeOut[10]: torch.Size([2, 2, 2, 3])# 觀察 z[0, 0]，發(fā)現(xiàn)正是 x 左上角的六個(gè)元素z[0,0]Out[11]: tensor([[0, 1, 2], [4, 5, 6]])# z[0, 1] 也同樣符合預(yù)期z[0,1]Out[12]: tensor([[1, 2, 3], [5, 6, 7]])實(shí)現(xiàn)的思路是：把原始圖像 unfold 成一個(gè)個(gè)的 patch，對(duì)每個(gè) patch 計(jì)算權(quán)重以及加權(quán)平均。代碼如下：def bilateralFilter(batch_img, ksize, sigmaColor=None, sigmaSpace=None): device = batch_img.device if sigmaSpace is None: sigmaSpace = 0.15 * ksize + 0.35 # 0.3 * ((ksize - 1) * 0.5 - 1) + 0.8 if sigmaColor is None: sigmaColor = sigmaSpace pad = (ksize - 1) // 2 batch_img_pad = F.pad(batch_img, pad=[pad, pad, pad, pad], mode='reflect') # batch_img 的維度為 BxcxHxW, 因此要沿著第 二、三維度 unfold # patches.shape: B x C x H x W x ksize x ksize patches = batch_img_pad.unfold(2, ksize, 1).unfold(3, ksize, 1) patch_dim = patches.dim() # 6 # 求出像素亮度差 diff_color = patches - batch_img.unsqueeze(-1).unsqueeze(-1) # 根據(jù)像素亮度差，計(jì)算權(quán)重矩陣 weights_color = torch.exp(-(diff_color ** 2) / (2 * sigmaColor ** 2)) # 歸一化權(quán)重矩陣 weights_color = weights_color / weights_color.sum(dim=(-1, -2), keepdim=True) # 獲取 gaussian kernel 并將其復(fù)制成和 weight_color 形狀相同的 tensor weights_space = getGaussianKernel(ksize, sigmaSpace).to(device) weights_space_dim = (patch_dim - 2) * (1,) + (ksize, ksize) weights_space = weights_space.view(*weights_space_dim).expand_as(weights_color) # 兩個(gè)權(quán)重矩陣相乘得到總的權(quán)重矩陣 weights = weights_space * weights_color # 總權(quán)重矩陣的歸一化參數(shù) weights_sum = weights.sum(dim=(-1, -2)) # 加權(quán)平均 weighted_pix = (weights * patches).sum(dim=(-1, -2)) / weights_sum return weighted_pix最終結(jié)果為下圖，雀斑都沒(méi)了！同時(shí)人臉的輪廓和五官的細(xì)節(jié)依然被很好地保留下來(lái)：輸入圖片尺寸為 256 x 256，ksize=15，sigmaColor=0.15，sigmaSpace=5 。需要注意的是，由于 bilateral filter 的權(quán)重和像素值相關(guān)，因此設(shè)置 sigmaColor 時(shí)要注意輸入圖像的像素范圍，看清楚到底是 0-1 還是 0-255(上圖像素范圍為 0-1)。

04

總結(jié)本文介紹了雙邊濾波的基本原理，并附帶了 pytorch 的實(shí)現(xiàn)。雖然不如 opencv 快，但優(yōu)點(diǎn)是 backward trackable ，適合包裝為模塊加入網(wǎng)絡(luò)中。利用 unfold 實(shí)現(xiàn)的缺點(diǎn)是很占內(nèi)存/顯存，kernelsize 越大，unfold 出來(lái)的冗余數(shù)據(jù)就越多，如果有大神知道更高效的實(shí)現(xiàn)方式，還望不吝賜教。

05

后記我發(fā)現(xiàn)網(wǎng)上搜到的很多磨皮祛斑的算法，主要的目標(biāo)是設(shè)計(jì)一個(gè)高通濾波器，從而得到一個(gè)基于像素亮度的 mask，亮的地方權(quán)重大(對(duì)應(yīng)皮膚區(qū)域)，暗的地方權(quán)重小(對(duì)應(yīng)雀斑、噪點(diǎn)區(qū)域)。將原圖 I 和 模糊化的圖I_blur(各種模糊化方式都可以，目標(biāo)是把較暗的斑點(diǎn)模糊掉)利用 mask 融合：I_mask+I_blur(1-mask)?。這種方法既保留了原圖的細(xì)節(jié)，又能模糊掉斑點(diǎn)，不過(guò)在不同圖片上應(yīng)用時(shí)，仍然免不了調(diào)整一些超參數(shù)，而真有調(diào)參的功夫，直接調(diào)一下雙邊濾波的幾個(gè)參數(shù)，最后得到的效果未必比那些復(fù)雜的算法差。

本文目的在于學(xué)術(shù)交流，并不代表本公眾號(hào)贊同其觀點(diǎn)或?qū)ζ鋬?nèi)容真實(shí)性負(fù)責(zé)，版權(quán)歸原作者所有，如有侵權(quán)請(qǐng)告知?jiǎng)h除。

“他山之石”歷史文章

• 編譯PyTorch靜態(tài)庫(kù)

• 工業(yè)界視頻理解解決方案大匯總

• 動(dòng)手造輪子-rnn

• 憑什么相信你，我的CNN模型？關(guān)于CNN模型可解釋性的思考

• “最全PyTorch分布式教程”來(lái)了！

• c++接口libtorch介紹& vscode+cmake實(shí)踐

• python從零開(kāi)始構(gòu)建知識(shí)圖譜

• 一文讀懂 PyTorch 模型保存與載入

• 適合PyTorch小白的官網(wǎng)教程：Learning PyTorch With Examples

• pytorch量化備忘錄

• LSTM模型結(jié)構(gòu)的可視化

• PointNet論文復(fù)現(xiàn)及代碼詳解

• SCI寫(xiě)作常用句型之研究結(jié)果&發(fā)現(xiàn)

• 白話生成對(duì)抗網(wǎng)絡(luò)GAN及代碼實(shí)現(xiàn)

• pytorch的余弦退火學(xué)習(xí)率

更多他山之石專(zhuān)欄文章，

請(qǐng)點(diǎn)擊文章底部“閱讀原文”查看

分享、點(diǎn)贊、在看，給個(gè)三連擊唄！

總結(jié)

以上是生活随笔為你收集整理的matlab实现双边滤波_【他山之石】pytorch 实现双边滤波的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。