使用pytorch定義自己的模型是繼承nn.Module實現的。在__init__方法中定義需要初始化的參數，一般把網絡中具有可學習參數的層放在這里定義。forward方法實現模型的功能，實現各個層之間的連接關系的核心。backward函數就會被自動實現(利用Autograd)。

class WordAveragingModel(nn.Module):def __init__(self, vocab_size: int, embed_dim: int, embed_dropout: float = 0.25,pad_idx: int = Vocabulary.pad_idx):......def forward(self, input_ids: torch.LongTensor, attention_mask: torch.LongTensor) -> Output:......

模型實例化

word_avg = WordAveragingModel(len(vocab), embed_dim=EMBED_DIM,
embed_dropout=DROPOUT) 這里傳入的參數類型、個數是由構造函數定義的。

模型前向計算

tokenized = {“input_ids”:xxxxxxxxxxxxxx,“attention_mask”:hhhhhhhhhhhh}
y=word_avg(**tokenized)

參數tokenized包含的參數名稱、類型是由forward方法定義的。
因為在Python中只要定義類型的時候，實現__call__函數，這個類型就成為可調用的。 換句話說，我們可以把這個類型的對象當作函數來使用。nn.Module的__call__自動調用了forward方法。
再說tokenized，肯定來自于數據集，是一次批處理的數據。

總結

以上是生活随笔為你收集整理的pytorch自定义模型执行过程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。