使用記錄1

代碼采用如下鏈接的，并做了微改

Bert-Chinese-Text-Classification-Pytorchhttps://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch

數據集使用的是情感分析數據集，有測試集、驗證集和訓練集，忘了哪下的了，找到鏈接會發出來。

首先說一下遇到的問題，上面的代碼沒問題，主要的問題出在數據集的讀取上，因為這個是.data文件，用了numpy和pandas庫讀取均出現錯誤，而且數據集的打開方式如果直接用txt方式打開會是亂碼，谷歌了一下，最后采用的方法很直接，直接在.data后面加.txt，能成功打開并且格式不亂，很神奇，修改model里面的數據集路徑，直接用bert模型跑，下面是參數不同時，loss和acc的變化表。

環境為 3060 6G python=3.7

torch ? ? ? ? ? ? ? ? ? 1.10.1+cu113
torchtext ? ? ? ? ? ? ? 0.11.2
torchvision ? ? ? ? ? ? 0.11.2+cu113

self.require_improvement = 1000 # 若超過1000batch效果還沒提升，則提前結束訓練self.num_classes = len(self.class_list) # 類別數self.num_epochs = 10 # epoch數self.batch_size = 64#128 # mini-batch大小self.pad_size = 32 # 每句話處理成的長度(短填長切)self.learning_rate = 5e-5 # 學習率self.bert_path = './bert_pretrain'self.tokenizer = BertTokenizer.from_pretrained(self.bert_path)self.hidden_size = 768

預訓練模型從這里下，我采用的是chinese_wwm_pytorch模型，鏈接找到就放抱抱臉https://huggingface.co/models

首先先進行小規模測試，epoch=2，batchsize=64,其他不變，Test Loss: ?0.69, ?Test Acc: 54.43%

然后增加參數，epoch=10，batchsize=64,Test Loss: ?0.24, ?Test Acc: 91.71%

如果降低padsize會降低acc

采用bert-base-uncasedhttps://huggingface.co/bert-base-uncased

Test Loss: ?0.54, ?Test Acc: 74.56%?

總結

以上是生活随笔為你收集整理的bert模型使用记录的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。