機器之心轉載

來源：知乎

作者：張皓

眾所周知，程序猿在寫代碼時通常會在網上搜索大量資料，其中大部分是代碼段。然而，這項工作常常令人心累身疲，耗費大量時間。所以，今天小編轉載了知乎上的一篇文章，介紹了一些常用PyTorch代碼段，希望能夠為奮戰在電腦桌前的眾多程序猿們提供幫助！

本文代碼基于 PyTorch 1.0 版本，需要用到以下包

import?collections
import?os
import?shutil
import?tqdm

import?numpy?as?np
import?PIL.Image
import?torch
import?torchvision

基礎配置

檢查 PyTorch 版本

torch.__version__???????????????#?PyTorch?version
torch.version.cuda??????????????#?Corresponding?CUDA?version
torch.backends.cudnn.version()??#?Corresponding?cuDNN?version
torch.cuda.get_device_name(0)???#?GPU?type

更新 PyTorch

PyTorch 將被安裝在 anaconda3/lib/python3.7/site-packages/torch/目錄下。

conda?update?pytorch?torchvision?-c?pytorch

固定隨機種子

torch.manual_seed(0)
torch.cuda.manual_seed_all(0)

指定程序運行在特定 GPU 卡上

在命令行指定環境變量

CUDA_VISIBLE_DEVICES=0,1?python?train.py

或在代碼中指定

os.environ['CUDA_VISIBLE_DEVICES']?=?'0,1'

判斷是否有 CUDA 支持

torch.cuda.is_available()

設置為 cuDNN benchmark 模式

Benchmark 模式會提升計算速度，但是由于計算中有隨機性，每次網絡前饋結果略有差異。

torch.backends.cudnn.benchmark?=?True

如果想要避免這種結果波動，設置

torch.backends.cudnn.deterministic?=?True

清除 GPU 存儲

有時 Control-C 中止運行后 GPU 存儲沒有及時釋放，需要手動清空。在 PyTorch 內部可以

torch.cuda.empty_cache()

或在命令行可以先使用 ps 找到程序的 PID，再使用 kill 結束該進程

ps?aux?|?grep?pythonkill?-9?[pid]

或者直接重置沒有被清空的 GPU

nvidia-smi?--gpu-reset?-i?[gpu_id]

張量處理

張量基本信息

tensor.type()???#?Data?type
tensor.size()???#?Shape?of?the?tensor.?It?is?a?subclass?of?Python?tuple
tensor.dim()????#?Number?of?dimensions.

數據類型轉換

#?Set?default?tensor?type.?Float?in?PyTorch?is?much?faster?than?double.
torch.set_default_tensor_type(torch.FloatTensor)

#?Type?convertions.
tensor?=?tensor.cuda()
tensor?=?tensor.cpu()
tensor?=?tensor.float()
tensor?=?tensor.long()

torch.Tensor 與 np.ndarray 轉換

#?torch.Tensor?->?np.ndarray.
ndarray?=?tensor.cpu().numpy()

#?np.ndarray?->?torch.Tensor.
tensor?=?torch.from_numpy(ndarray).float()
tensor?=?torch.from_numpy(ndarray.copy()).float()??#?If?ndarray?has?negative?stride

torch.Tensor 與 PIL.Image 轉換

PyTorch 中的張量默認采用 N×D×H×W 的順序，并且數據范圍在 [0, 1]，需要進行轉置和規范化。

#?torch.Tensor?->?PIL.Image.
image?=?PIL.Image.fromarray(torch.clamp(tensor?*?255,?min=0,?max=255
????).byte().permute(1,?2,?0).cpu().numpy())
image?=?torchvision.transforms.functional.to_pil_image(tensor)??#?Equivalently?way

#?PIL.Image?->?torch.Tensor.
tensor?=?torch.from_numpy(np.asarray(PIL.Image.open(path))
????).permute(2,?0,?1).float()?/?255
tensor?=?torchvision.transforms.functional.to_tensor(PIL.Image.open(path))??#?Equivalently?way

np.ndarray 與 PIL.Image 轉換

#?np.ndarray?->?PIL.Image.
image?=?PIL.Image.fromarray(ndarray.astypde(np.uint8))

#?PIL.Image?->?np.ndarray.
ndarray?=?np.asarray(PIL.Image.open(path))

從只包含一個元素的張量中提取值

這在訓練時統計 loss 的變化過程中特別有用。否則這將累積計算圖，使 GPU 存儲占用量越來越大。

value?=?tensor.item()

張量形變

張量形變常常需要用于將卷積層特征輸入全連接層的情形。相比 torch.view，torch.reshape 可以自動處理輸入張量不連續的情況。

tensor?=?torch.reshape(tensor,?shape)

打亂順序

tensor?=?tensor[torch.randperm(tensor.size(0))]??#?Shuffle?the?first?dimension

水平翻轉

PyTorch 不支持 tensor[::-1] 這樣的負步長操作，水平翻轉可以用張量索引實現。

#?Assume?tensor?has?shape?N*D*H*W.tensor?=?tensor[:,?:,?:,?torch.arange(tensor.size(3)?-?1,?-1,?-1).long()]

復制張量

有三種復制的方式，對應不同的需求。

#?Operation?????????????????|??New/Shared?memory?|?Still?in?computation?graph?|
tensor.clone()????????????#?|????????New?????????|??????????Yes???????????????|
tensor.detach()???????????#?|??????Shared????????|??????????No????????????????|
tensor.detach.clone()()???#?|????????New?????????|??????????No????????????????|

拼接張量

注意 torch.cat 和 torch.stack 的區別在于 torch.cat 沿著給定的維度拼接，而 torch.stack 會新增一維。例如當參數是 3 個 10×5 的張量，torch.cat 的結果是 30×5 的張量，而 torch.stack 的結果是 3×10×5 的張量。

tensor?=?torch.cat(list_of_tensors,?dim=0)
tensor?=?torch.stack(list_of_tensors,?dim=0)

將整數標記轉換成獨熱(one-hot)編碼

PyTorch 中的標記默認從 0 開始。

N?=?tensor.size(0)
one_hot?=?torch.zeros(N,?num_classes).long()
one_hot.scatter_(dim=1,?index=torch.unsqueeze(tensor,?dim=1),?src=torch.ones(N,?num_classes).long())

得到非零/零元素

torch.nonzero(tensor)???????????????#?Index?of?non-zero?elements
torch.nonzero(tensor?==?0)??????????#?Index?of?zero?elements
torch.nonzero(tensor).size(0)???????#?Number?of?non-zero?elements
torch.nonzero(tensor?==?0).size(0)??#?Number?of?zero?elements

張量擴展

#?Expand?tensor?of?shape?64*512?to?shape?64*512*7*7.
torch.reshape(tensor,?(64,?512,?1,?1)).expand(64,?512,?7,?7)

矩陣乘法

#?Matrix?multiplication:?(m*n)?*?(n*p)?->?(m*p).
result?=?torch.mm(tensor1,?tensor2)

#?Batch?matrix?multiplication:?(b*m*n)?*?(b*n*p)?->?(b*m*p).
result?=?torch.bmm(tensor1,?tensor2)

#?Element-wise?multiplication.
result?=?tensor1?*?tensor2

計算兩組數據之間的兩兩歐式距離

#?X1?is?of?shape?m*d.
X1?=?torch.unsqueeze(X1,?dim=1).expand(m,?n,?d)
#?X2?is?of?shape?n*d.
X2?=?torch.unsqueeze(X2,?dim=0).expand(m,?n,?d)
#?dist?is?of?shape?m*n,?where?dist[i][j]?=?sqrt(|X1[i,?:]?-?X[j,?:]|^2)
dist?=?torch.sqrt(torch.sum((X1?-?X2)?**?2,?dim=2))

模型定義

卷積層

最常用的卷積層配置是

conv?=?torch.nn.Conv2d(in_channels,?out_channels,?kernel_size=3,?stride=1,?padding=1,?bias=True)conv?=?torch.nn.Conv2d(in_channels,?out_channels,?kernel_size=1,?stride=1,?padding=0,?bias=True)

如果卷積層配置比較復雜，不方便計算輸出大小時，可以利用如下可視化工具輔助

鏈接：https://ezyang.github.io/convolution-visualizer/index.html

0GAP(Global average pooling)層

gap?=?torch.nn.AdaptiveAvgPool2d(output_size=1)

雙線性匯合(bilinear pooling)

X?=?torch.reshape(N,?D,?H?*?W)????????????????????????#?Assume?X?has?shape?N*D*H*W
X?=?torch.bmm(X,?torch.transpose(X,?1,?2))?/?(H?*?W)??#?Bilinear?pooling
assert?X.size()?==?(N,?D,?D)
X?=?torch.reshape(X,?(N,?D?*?D))
X?=?torch.sign(X)?*?torch.sqrt(torch.abs(X)?+?1e-5)???#?Signed-sqrt?normalization
X?=?torch.nn.functional.normalize(X)??????????????????#?L2?normalization

多卡同步 BN(Batch normalization)

當使用 torch.nn.DataParallel 將代碼運行在多張 GPU 卡上時，PyTorch 的 BN 層默認操作是各卡上數據獨立地計算均值和標準差，同步 BN 使用所有卡上的數據一起計算 BN 層的均值和標準差，緩解了當批量大小(batch size)比較小時對均值和標準差估計不準的情況，是在目標檢測等任務中一個有效的提升性能的技巧。

鏈接：https://github.com/vacancy/Synchronized-BatchNorm-PyTorch

類似 BN 滑動平均

如果要實現類似 BN 滑動平均的操作，在 forward 函數中要使用原地(inplace)操作給滑動平均賦值。

class?BN(torch.nn.Module)
????def?__init__(self):
????????...
????????self.register_buffer('running_mean',?torch.zeros(num_features))

????def?forward(self,?X):
????????...
????????self.running_mean?+=?momentum?*?(current?-?self.running_mean)

計算模型整體參數量

num_parameters?=?sum(torch.numel(parameter)?for?parameter?in?model.parameters())

類似 Keras 的 model.summary() 輸出模型信息

鏈接：https://github.com/sksq96/pytorch-summary

模型權值初始化

注意 model.modules() 和 model.children() 的區別：model.modules() 會迭代地遍歷模型的所有子層，而 model.children() 只會遍歷模型下的一層。

#?Common?practise?for?initialization.
for?layer?in?model.modules():
????if?isinstance(layer,?torch.nn.Conv2d):
????????torch.nn.init.kaiming_normal_(layer.weight,?mode='fan_out',
??????????????????????????????????????nonlinearity='relu')
????????if?layer.bias?is?not?None:
????????????torch.nn.init.constant_(layer.bias,?val=0.0)
????elif?isinstance(layer,?torch.nn.BatchNorm2d):
????????torch.nn.init.constant_(layer.weight,?val=1.0)
????????torch.nn.init.constant_(layer.bias,?val=0.0)
????elif?isinstance(layer,?torch.nn.Linear):
????????torch.nn.init.xavier_normal_(layer.weight)
????????if?layer.bias?is?not?None:
????????????torch.nn.init.constant_(layer.bias,?val=0.0)

#?Initialization?with?given?tensor.
layer.weight?=?torch.nn.Parameter(tensor)

部分層使用預訓練模型

注意如果保存的模型是 torch.nn.DataParallel，則當前的模型也需要是

model.load_state_dict(torch.load('model,pth'),?strict=False)

將在 GPU 保存的模型加載到 CPU

model.load_state_dict(torch.load('model,pth',?map_location='cpu'))

數據準備、特征提取與微調

得到視頻數據基本信息

import?cv2
video?=?cv2.VideoCapture(mp4_path)
height?=?int(video.get(cv2.CAP_PROP_FRAME_HEIGHT))
width?=?int(video.get(cv2.CAP_PROP_FRAME_WIDTH))
num_frames?=?int(video.get(cv2.CAP_PROP_FRAME_COUNT))
fps?=?int(video.get(cv2.CAP_PROP_FPS))
video.release()

TSN 每段(segment)采樣一幀視頻

K?=?self._num_segments
if?is_train:
????if?num_frames?>?K:
????????#?Random?index?for?each?segment.
????????frame_indices?=?torch.randint(
????????????high=num_frames?//?K,?size=(K,),?dtype=torch.long)
????????frame_indices?+=?num_frames?//?K?*?torch.arange(K)
????else:
????????frame_indices?=?torch.randint(
????????????high=num_frames,?size=(K?-?num_frames,),?dtype=torch.long)
????????frame_indices?=?torch.sort(torch.cat((
????????????torch.arange(num_frames),?frame_indices)))[0]
else:
????if?num_frames?>?K:
????????#?Middle?index?for?each?segment.
????????frame_indices?=?num_frames?/?K?//?2
????????frame_indices?+=?num_frames?//?K?*?torch.arange(K)
????else:
????????frame_indices?=?torch.sort(torch.cat((??????????????????????????????
????????????torch.arange(num_frames),?torch.arange(K?-?num_frames))))[0]
assert?frame_indices.size()?==?(K,)
return?[frame_indices[i]?for?i?in?range(K)]

提取 ImageNet 預訓練模型某層的卷積特征

#?VGG-16?relu5-3?feature.
model?=?torchvision.models.vgg16(pretrained=True).features[:-1]
#?VGG-16?pool5?feature.
model?=?torchvision.models.vgg16(pretrained=True).features
#?VGG-16?fc7?feature.
model?=?torchvision.models.vgg16(pretrained=True)
model.classifier?=?torch.nn.Sequential(*list(model.classifier.children())[:-3])
#?ResNet?GAP?feature.
model?=?torchvision.models.resnet18(pretrained=True)
model?=?torch.nn.Sequential(collections.OrderedDict(
????list(model.named_children())[:-1]))

with?torch.no_grad():
????model.eval()
????conv_representation?=?model(image)

提取 ImageNet 預訓練模型多層的卷積特征

class?FeatureExtractor(torch.nn.Module):
????"""Helper?class?to?extract?several?convolution?features?from?the?given
????pre-trained?model.
????Attributes:
????????_model,?torch.nn.Module.
????????_layers_to_extract,?list?or?set
????Example:
????????>>>?model?=?torchvision.models.resnet152(pretrained=True)
????????>>>?model?=?torch.nn.Sequential(collections.OrderedDict(
????????????????list(model.named_children())[:-1]))
????????>>>?conv_representation?=?FeatureExtractor(
????????????????pretrained_model=model,
????????????????layers_to_extract={'layer1',?'layer2',?'layer3',?'layer4'})(image)
????"""
????def?__init__(self,?pretrained_model,?layers_to_extract):
????????torch.nn.Module.__init__(self)
????????self._model?=?pretrained_model
????????self._model.eval()
????????self._layers_to_extract?=?set(layers_to_extract)

????def?forward(self,?x):
????????with?torch.no_grad():
????????????conv_representation?=?[]
????????????for?name,?layer?in?self._model.named_children():
????????????????x?=?layer(x)
????????????????if?name?in?self._layers_to_extract:
????????????????????conv_representation.append(x)
????????????return?conv_representation

其他預訓練模型

鏈接：https://github.com/Cadene/pretrained-models.pytorch

微調全連接層

model?=?torchvision.models.resnet18(pretrained=True)
for?param?in?model.parameters():
????param.requires_grad?=?False
model.fc?=?nn.Linear(512,?100)??#?Replace?the?last?fc?layer
optimizer?=?torch.optim.SGD(model.fc.parameters(),?lr=1e-2,?momentum=0.9,?weight_decay=1e-4)

以較大學習率微調全連接層，較小學習率微調卷積層

model?=?torchvision.models.resnet18(pretrained=True)
finetuned_parameters?=?list(map(id,?model.fc.parameters()))
conv_parameters?=?(p?for?p?in?model.parameters()?if?id(p)?not?in?finetuned_parameters)
parameters?=?[{'params':?conv_parameters,?'lr':?1e-3},?
??????????????{'params':?model.fc.parameters()}]
optimizer?=?torch.optim.SGD(parameters,?lr=1e-2,?momentum=0.9,?weight_decay=1e-4)

模型訓練

常用訓練和驗證數據預處理

其中 ToTensor 操作會將 PIL.Image 或形狀為 H×W×D，數值范圍為 [0, 255] 的 np.ndarray 轉換為形狀為 D×H×W，數值范圍為 [0.0, 1.0] 的 torch.Tensor。

train_transform?=?torchvision.transforms.Compose([
????torchvision.transforms.RandomResizedCrop(size=224,
?????????????????????????????????????????????scale=(0.08,?1.0)),
????torchvision.transforms.RandomHorizontalFlip(),
????torchvision.transforms.ToTensor(),
????torchvision.transforms.Normalize(mean=(0.485,?0.456,?0.406),
?????????????????????????????????????std=(0.229,?0.224,?0.225)),
?])
?val_transform?=?torchvision.transforms.Compose([
????torchvision.transforms.Resize(224),
????torchvision.transforms.CenterCrop(224),
????torchvision.transforms.ToTensor(),
????torchvision.transforms.Normalize(mean=(0.485,?0.456,?0.406),
?????????????????????????????????????std=(0.229,?0.224,?0.225)),
])

訓練基本代碼框架

for?t?in?epoch(80):for?images,?labels?in?tqdm.tqdm(train_loader,?desc='Epoch?%3d'?%?(t?+?1)):
????????images,?labels?=?images.cuda(),?labels.cuda()
????????scores?=?model(images)
????????loss?=?loss_function(scores,?labels)
????????optimizer.zero_grad()
????????loss.backward()
????????optimizer.step()

標記平滑(label smoothing)

for?images,?labels?in?train_loader:
????images,?labels?=?images.cuda(),?labels.cuda()
????N?=?labels.size(0)
????#?C?is?the?number?of?classes.
????smoothed_labels?=?torch.full(size=(N,?C),?fill_value=0.1?/?(C?-?1)).cuda()
????smoothed_labels.scatter_(dim=1,?index=torch.unsqueeze(labels,?dim=1),?value=0.9)

????score?=?model(images)
????log_prob?=?torch.nn.functional.log_softmax(score,?dim=1)
????loss?=?-torch.sum(log_prob?*?smoothed_labels)?/?N
????optimizer.zero_grad()
????loss.backward()
????optimizer.step()

Mixup

beta_distribution?=?torch.distributions.beta.Beta(alpha,?alpha)
for?images,?labels?in?train_loader:
????images,?labels?=?images.cuda(),?labels.cuda()

????#?Mixup?images.
????lambda_?=?beta_distribution.sample([]).item()
????index?=?torch.randperm(images.size(0)).cuda()
????mixed_images?=?lambda_?*?images?+?(1?-?lambda_)?*?images[index,?:]

????#?Mixup?loss.????
????scores?=?model(mixed_images)
????loss?=?(lambda_?*?loss_function(scores,?labels)?
????????????+?(1?-?lambda_)?*?loss_function(scores,?labels[index]))

????optimizer.zero_grad()
????loss.backward()
????optimizer.step()

L1 正則化

l1_regularization?=?torch.nn.L1Loss(reduction='sum')
loss?=?...??#?Standard?cross-entropy?loss
for?param?in?model.parameters():
????loss?+=?torch.sum(torch.abs(param))
loss.backward()

不對偏置項進行 L2 正則化/權值衰減(weight decay)

bias_list?=?(param?for?name,?param?in?model.named_parameters()?if?name[-4:]?==?'bias')
others_list?=?(param?for?name,?param?in?model.named_parameters()?if?name[-4:]?!=?'bias')
parameters?=?[{'parameters':?bias_list,?'weight_decay':?0},????????????????
??????????????{'parameters':?others_list}]
optimizer?=?torch.optim.SGD(parameters,?lr=1e-2,?momentum=0.9,?weight_decay=1e-4)

梯度裁剪(gradient clipping)

torch.nn.utils.clip_grad_norm_(model.parameters(),?max_norm=20)

計算 Softmax 輸出的準確率

score?=?model(images)
prediction?=?torch.argmax(score,?dim=1)
num_correct?=?torch.sum(prediction?==?labels).item()
accuruacy?=?num_correct?/?labels.size(0)

可視化模型前饋的計算圖

鏈接：https://github.com/szagoruyko/pytorchviz

可視化學習曲線

有 Facebook 自己開發的 Visdom 和 Tensorboard 兩個選擇。

https://github.com/facebookresearch/visdom

https://github.com/lanpa/tensorboardX

#?Example?using?Visdom.
vis?=?visdom.Visdom(env='Learning?curve',?use_incoming_socket=False)
assert?self._visdom.check_connection()
self._visdom.close()
options?=?collections.namedtuple('Options',?['loss',?'acc',?'lr'])(
????loss={'xlabel':?'Epoch',?'ylabel':?'Loss',?'showlegend':?True},
????acc={'xlabel':?'Epoch',?'ylabel':?'Accuracy',?'showlegend':?True},
????lr={'xlabel':?'Epoch',?'ylabel':?'Learning?rate',?'showlegend':?True})

for?t?in?epoch(80):
????tran(...)
????val(...)
????vis.line(X=torch.Tensor([t?+?1]),?Y=torch.Tensor([train_loss]),
?????????????name='train',?win='Loss',?update='append',?opts=options.loss)
????vis.line(X=torch.Tensor([t?+?1]),?Y=torch.Tensor([val_loss]),
?????????????name='val',?win='Loss',?update='append',?opts=options.loss)
????vis.line(X=torch.Tensor([t?+?1]),?Y=torch.Tensor([train_acc]),
?????????????name='train',?win='Accuracy',?update='append',?opts=options.acc)
????vis.line(X=torch.Tensor([t?+?1]),?Y=torch.Tensor([val_acc]),
?????????????name='val',?win='Accuracy',?update='append',?opts=options.acc)
????vis.line(X=torch.Tensor([t?+?1]),?Y=torch.Tensor([lr]),
?????????????win='Learning?rate',?update='append',?opts=options.lr)

得到當前學習率

#?If?there?is?one?global?learning?rate?(which?is?the?common?case).
lr?=?next(iter(optimizer.param_groups))['lr']

#?If?there?are?multiple?learning?rates?for?different?layers.
all_lr?=?[]
for?param_group?in?optimizer.param_groups:
????all_lr.append(param_group['lr'])

學習率衰減

#?Reduce?learning?rate?when?validation?accuarcy?plateau.
scheduler?=?torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer,?mode='max',?patience=5,?verbose=True)
for?t?in?range(0,?80):
????train(...);?val(...)
????scheduler.step(val_acc)

#?Cosine?annealing?learning?rate.
scheduler?=?torch.optim.lr_scheduler.CosineAnnealingLR(optimizer,?T_max=80)
#?Reduce?learning?rate?by?10?at?given?epochs.
scheduler?=?torch.optim.lr_scheduler.MultiStepLR(optimizer,?milestones=[50,?70],?gamma=0.1)
for?t?in?range(0,?80):
????scheduler.step()????
????train(...);?val(...)

#?Learning?rate?warmup?by?10?epochs.
scheduler?=?torch.optim.lr_scheduler.LambdaLR(optimizer,?lr_lambda=lambda?t:?t?/?10)
for?t?in?range(0,?10):
????scheduler.step()
????train(...);?val(...)

保存與加載斷點

注意為了能夠恢復訓練，我們需要同時保存模型和優化器的狀態，以及當前的訓練輪數。

#?Save?checkpoint.
is_best?=?current_acc?>?best_acc
best_acc?=?max(best_acc,?current_acc)
checkpoint?=?{
????'best_acc':?best_acc,????
????'epoch':?t?+?1,
????'model':?model.state_dict(),
????'optimizer':?optimizer.state_dict(),
}
model_path?=?os.path.join('model',?'checkpoint.pth.tar')
torch.save(checkpoint,?model_path)
if?is_best:
????shutil.copy('checkpoint.pth.tar',?model_path)

#?Load?checkpoint.
if?resume:
????model_path?=?os.path.join('model',?'checkpoint.pth.tar')
????assert?os.path.isfile(model_path)
????checkpoint?=?torch.load(model_path)
????best_acc?=?checkpoint['best_acc']
????start_epoch?=?checkpoint['epoch']
????model.load_state_dict(checkpoint['model'])
????optimizer.load_state_dict(checkpoint['optimizer'])
????print('Load?checkpoint?at?epoch?%d.'?%?start_epoch)

計算準確率、查準率(precision)、查全率(recall)

#?data['label']?and?data['prediction']?are?groundtruth?label?and?prediction?
#?for?each?image,?respectively.
accuracy?=?np.mean(data['label']?==?data['prediction'])?*?100

#?Compute?recision?and?recall?for?each?class.
for?c?in?range(len(num_classes)):
????tp?=?np.dot((data['label']?==?c).astype(int),
????????????????(data['prediction']?==?c).astype(int))
????tp_fp?=?np.sum(data['prediction']?==?c)
????tp_fn?=?np.sum(data['label']?==?c)
????precision?=?tp?/?tp_fp?*?100
????recall?=?tp?/?tp_fn?*?100

PyTorch 其他注意事項

模型定義

• 建議有參數的層和匯合(pooling)層使用 torch.nn 模塊定義，激活函數直接使用 torch.nn.functional。torch.nn 模塊和 torch.nn.functional 的區別在于，torch.nn 模塊在計算時底層調用了 torch.nn.functional，但 torch.nn 模塊包括該層參數，還可以應對訓練和測試兩種網絡狀態。使用 torch.nn.functional 時要注意網絡狀態，如

def?forward(self,?x):
????...
????x?=?torch.nn.functional.dropout(x,?p=0.5,?training=self.training)

• model(x) 前用 model.train() 和 model.eval() 切換網絡狀態。

• 不需要計算梯度的代碼塊用 with torch.no_grad() 包含起來。model.eval() 和 torch.no_grad() 的區別在于，model.eval() 是將網絡切換為測試狀態，例如 BN 和隨機失活(dropout)在訓練和測試階段使用不同的計算方法。torch.no_grad() 是關閉 PyTorch 張量的自動求導機制，以減少存儲使用和加速計算，得到的結果無法進行 loss.backward()。

• torch.nn.CrossEntropyLoss 的輸入不需要經過 Softmax。torch.nn.CrossEntropyLoss 等價于 torch.nn.functional.log_softmax + torch.nn.NLLLoss。

• loss.backward() 前用 optimizer.zero_grad() 清除累積梯度。optimizer.zero_grad() 和 model.zero_grad() 效果一樣。

PyTorch 性能與調試

• torch.utils.data.DataLoader 中盡量設置 pin_memory=True，對特別小的數據集如 MNIST 設置 pin_memory=False 反而更快一些。num_workers 的設置需要在實驗中找到最快的取值。

• 用 del 及時刪除不用的中間變量，節約 GPU 存儲。

• 使用 inplace 操作可節約 GPU 存儲，如

x?=?torch.nn.functional.relu(x,?inplace=True)

• 減少 CPU 和 GPU 之間的數據傳輸。例如如果你想知道一個 epoch 中每個 mini-batch 的 loss 和準確率，先將它們累積在 GPU 中等一個 epoch 結束之后一起傳輸回 CPU 會比每個 mini-batch 都進行一次 GPU 到 CPU 的傳輸更快。

• 使用半精度浮點數 half() 會有一定的速度提升，具體效率依賴于 GPU 型號。需要小心數值精度過低帶來的穩定性問題。

• 時常使用 assert tensor.size() == (N, D, H, W) 作為調試手段，確保張量維度和你設想中一致。

• 除了標記 y 外，盡量少使用一維張量，使用 n*1 的二維張量代替，可以避免一些意想不到的一維張量計算結果。

• 統計代碼各部分耗時

with?torch.autograd.profiler.profile(enabled=True,?use_cuda=False)?as?profile:
????...
print(profile)

或者在命令行運行

python?-m?torch.utils.bottleneck?main.py

致謝

感謝 @些許流年和@El tnoto的勘誤。由于作者才疏學淺，更兼時間和精力所限，代碼中錯誤之處在所難免，敬請讀者批評指正。

參考資料

• PyTorch 官方代碼：pytorch/examples (https://link.zhihu.com/?target=https%3A//github.com/pytorch/examples)

• PyTorch 論壇：PyTorch Forums (https://link.zhihu.com/?target=https%3A//discuss.pytorch.org/latest%3Forder%3Dviews)

• PyTorch 文檔：http://pytorch.org/docs/stable/index.html (https://link.zhihu.com/?target=http%3A//pytorch.org/docs/stable/index.html)

• 其他基于 PyTorch 的公開實現代碼，無法一一列舉?

張皓：南京大學計算機系機器學習與數據挖掘所(LAMDA)碩士生，研究方向為計算機視覺和機器學習，特別是視覺識別和深度學習。個人主頁：http://lamda.nju.edu.cn/zhangh/

原知乎鏈接：https://zhuanlan.zhihu.com/p/59205847?

本文為機器之心轉載，轉載請聯系作者獲得授權。

?------------------------------------------------

加入機器之心(全職記者 / 實習生)：hr@jiqizhixin.com

投稿或尋求報道：content@jiqizhixin.com

廣告 & 商務合作：bd@jiqizhixin.com

總結

以上是生活随笔為你收集整理的pytorch list转tensor_点赞收藏：PyTorch常用代码段整理合集的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。