??類(lèi)激活圖（class activation map, CAM)能夠顯示輸入圖像各區(qū)域?qū)τ诜诸?lèi)神經(jīng)網(wǎng)絡(luò)指定類(lèi)別提供信息的多少，可以幫助我們更好的理解神經(jīng)網(wǎng)絡(luò)的工作過(guò)程。關(guān)于CAM網(wǎng)上講的有不少，我這里重點(diǎn)給出CAM的簡(jiǎn)明代碼實(shí)現(xiàn)，并討論一下各種情況下CAM的效果。CAM已經(jīng)發(fā)展出了好幾種方法，有CAM, GradCAM, GradCAM++, SmoothGradCAM++, ScoreCAM, SSCAM, ISCAM等。這里只介紹前三種，其他暫時(shí)不打算學(xué)。網(wǎng)上給出的代碼要么完整而太長(zhǎng)，要么太短而不完整，都不易快速理解，我這里給出完整又簡(jiǎn)短的寫(xiě)法，比較好理解。如果對(duì)其中涉及到的hook鉤子方法不太熟悉，可以看我另一篇博客專(zhuān)門(mén)介紹鉤子方法。

一、CAM

??CAM僅適用于網(wǎng)絡(luò)結(jié)構(gòu)是最后一個(gè)卷積層+GAP(即global average pooling,全局平均池化)+fc的情況。這種情況時(shí)，最后一個(gè)卷積層輸出的特征圖feature_map（在下面代碼中我們命名為hook_a）經(jīng)過(guò)GAP池化處理后會(huì)從C×H×W變成C×1×1，這樣最后的全連接層fc的輸入節(jié)點(diǎn)數(shù)就是C，所以fc的權(quán)重weights就是C × num_classes的。如果我們把weights中每個(gè)類(lèi)別的向量和最后卷積層的特征圖相乘后再相加，就可以得到一個(gè)H×W尺寸的圖，這個(gè)圖成為熱圖heatmap，它反映了feature_map中每個(gè)像素對(duì)最后分類(lèi)的重要程度。而卷積神經(jīng)網(wǎng)絡(luò)始終只是進(jìn)行縮放而沒(méi)有旋轉(zhuǎn)變換，所以hook_a和原輸入圖片的坐標(biāo)位置是對(duì)應(yīng)的，因此可以resize后和原圖片疊加起來(lái)用于顯示原圖中每個(gè)區(qū)域?qū)χ付?lèi)的貢獻(xiàn)程度。
??好吧，用人類(lèi)語(yǔ)言解釋這個(gè)事太費(fèi)勁了，估計(jì)大家沒(méi)怎么看懂，show you the code：

import numpy as np import torch.nn.functional as F import torchvision.models as models from torchvision.transforms.functional import normalize, resize, to_tensor, to_pil_image import matplotlib.pyplot as plt from matplotlib import cm from PIL import Imagenet = models.resnet18(pretrained=True).cuda()hook_a = None def _hook_a(module,inp,out):global hook_ahook_a = outsubmodule_dict = dict(net.named_modules()) target_layer = submodule_dict['layer4'] hook1 = target_layer.register_forward_hook(_hook_a)img_path = 'images/border_collie2.jpg' img = Image.open(img_path, mode='r').convert('RGB') img_tensor = normalize(to_tensor(resize(img, (224, 224))),[0.485, 0.456, 0.406], [0.229, 0.224, 0.225]).cuda()scores = net(img_tensor.unsqueeze(0)) hook1.remove() class_idx = 232 # class 232 corresponding to the border collie weights = net.fc.weight.data[class_idx,:] cam = (weights.view(*weights.shape, 1, 1) * hook_a.squeeze(0)).sum(0) cam = F.relu(cam) cam.sub_(cam.flatten(start_dim=-2).min(-1).values.unsqueeze(-1).unsqueeze(-1)) cam.div_(cam.flatten(start_dim=-2).max(-1).values.unsqueeze(-1).unsqueeze(-1)) cam = cam.data.cpu().numpy()heatmap = to_pil_image(cam, mode='F') overlay = heatmap.resize(img.size, resample=Image.BICUBIC) cmap = cm.get_cmap('jet') overlay = (255 * cmap(np.asarray(overlay) ** 2)[:, :, :3]).astype(np.uint8) alpha = .7 result = (alpha * np.asarray(img) + (1 - alpha) * overlay).astype(np.uint8) plt.imshow(result)

圖1.原圖

圖2. CAM法輸出結(jié)果

??我們可以看出來(lái)，ResNet18并沒(méi)有關(guān)注到圖中所有的邊牧，它只關(guān)注了最像的一個(gè)，這就足以讓它做出分類(lèi)判斷了。

二、GradCAM

??與CAM相比，GradCAM不再使用全連接層的權(quán)重，而是巧妙計(jì)算了指定類(lèi)輸出得分相對(duì)于卷積層特征圖的梯度，不再要求最后一個(gè)卷積層和全連接層之間必須有GAP層，適用范圍更廣。

圖3. GradCAM法核心公式

??
??用論文中這個(gè)公式來(lái)解釋，其中 $A_{ij}^k$表示卷積層的輸出特征圖，k是通道數(shù)，i,j是像素?cái)?shù)，$y^c$表示第c類(lèi)的輸出向量，$\frac{?y^c}{?A_{ij}^k}$表示的就是第c類(lèi)對(duì)特征圖的梯度。對(duì)此梯度按每通道求平均，也可以得到一個(gè)k維向量${\alpha }_k^c$, 就是代碼中的weights，用它來(lái)取代CAM中的weights也可以進(jìn)行計(jì)算。對(duì)于適用了末層卷積層和全連接層之間使用了GAP的情況下，用GradCAM法和CAM法計(jì)算的結(jié)果是相同的。下面還是給出完整代碼：

import numpy as np import torch.nn.functional as F import torchvision.models as models from torchvision.transforms.functional import normalize, resize, to_tensor, to_pil_image import matplotlib.pyplot as plt from matplotlib import cm from PIL import Imagenet = models.resnet18(pretrained=True).cuda()hook_a = None def _hook_a(module,inp,out):global hook_ahook_a = outhook_g = None def _hook_g(module,inp,out):global hook_ghook_g = out[0]submodule_dict = dict(net.named_modules()) target_layer = submodule_dict['layer4']hook1 = target_layer.register_forward_hook(_hook_a) hook2 = target_layer.register_backward_hook(_hook_g)img_path = 'images/border_collie3.jpg' img = Image.open(img_path, mode='r').convert('RGB') img_tensor = normalize(to_tensor(resize(img, (224, 224))),[0.485, 0.456, 0.406], [0.229, 0.224, 0.225]).cuda()scores = net(img_tensor.unsqueeze(0)) class_idx = 232 # class 232 corresponding to the border collie loss = scores[:,class_idx].sum() loss.backward() hook1.remove() hook2.remove()weights = hook_g.squeeze(0).mean(dim=(1,2)) cam = (weights.view(*weights.shape, 1, 1) * hook_a.squeeze(0)).sum(0) cam = F.relu(cam) cam.sub_(cam.flatten(start_dim=-2).min(-1).values.unsqueeze(-1).unsqueeze(-1)) cam.div_(cam.flatten(start_dim=-2).max(-1).values.unsqueeze(-1).unsqueeze(-1)) cam = cam.data.cpu().numpy()heatmap = to_pil_image(cam, mode='F') overlay = heatmap.resize(img.size, resample=Image.BICUBIC) cmap = cm.get_cmap('jet') overlay = (255 * cmap(np.asarray(overlay) ** 2)[:, :, :3]).astype(np.uint8) alpha = .7 result = (alpha * np.asarray(img) + (1 - alpha) * overlay).astype(np.uint8) plt.imshow(result)

??注意再GradCAM中使用的loss就是最后輸出的指定類(lèi)的得分，使用這個(gè)loss反向傳播，而這里提取的梯度也不是常規(guī)情況下我們關(guān)注的權(quán)重的梯度，而是特征圖的梯度。
??理論上GradCAM法可以用任意卷積層的特征圖和特征圖的梯度計(jì)算這個(gè)cam圖：

圖4. GradCAM法使用ResNet18不同層畫(huà)出的cam圖

??但是從各層畫(huà)出的結(jié)果中可以看出，只有最后層畫(huà)出的cam圖有意義，這個(gè)原因我還沒(méi)有細(xì)想。

三、GradCAM++

??GradCAM++為了效果更好，引入了二階梯度和三階梯度，在代碼中計(jì)算的時(shí)候?yàn)榱朔奖?#xff0c;分別用一階梯度的平方和三次方來(lái)替代。代碼和GradCAM基本相同，只需要把計(jì)算weights的一句替換為下面代碼即可：

##weights = hook_g.squeeze(0).mean(dim=(1,2)) grad_2 = hook_g.pow(2) grad_3 = grad_2 * hook_g denom = 2 * grad_2 + (grad_3 * hook_a).sum(dim=(2, 3), keepdim=True) nan_mask = grad_2 > 0 grad_2[nan_mask].div_(denom[nan_mask]) weights = grad_2.squeeze_(0).mul_(torch.relu(hook_g.squeeze(0))).sum(dim=(1, 2))

圖5. GradCAM++法輸出結(jié)果

總結(jié)

以上是生活随笔為你收集整理的简明代码介绍类激活图CAM, GradCAM, GradCAM++的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。