1. Pytorch中DataSet的使用方法

1.1 DataSet加載數據的方法

• DataSet是Pytorch中用來表示數據集的一個抽象類，在torch中提供了數據集的基類torch.utils.data.Dataset，繼承這個基類，我們能夠快速地實現對數據的加載**.**

  __len__：返回數據集大小; __getitem__:可以通過下標方式獲取數據

1.2 DataSet類的源碼

1.3 DataLoader使用方法

• 定義dataset實例
• 設置讀取數據batch的大小，常用128,256等等
• 設置shuffle：bool類型，表示是否在每次獲取數據的時候提前打亂數據

1.4 數據集介紹

• 數據集：setiment.test.data，情感分析二分類數據，數據包含兩列，文本和標簽.
• 地址：https://github.com/bojone/bert4keras/tree/master/examples/datasets.
• 數據集格式如下圖所示：

1.5 代碼

• 步驟一：導入工具庫

from torch.utils.data import Dataset, DataLoader import pandas as pd

• 步驟二：定義數據讀取類

class SentimentDataset(Dataset):# 初始化def __init__(self, path_to_file):self.dataset = pd.read_csv(path_to_file, sep="\t", names=["text", "label"])# 返回數據的長度def __len__(self):return len(self.dataset)# 根據編號返回數據def __getitem__(self, idx):text = self.dataset.loc[idx, "text"] # 文本label = self.dataset.loc[idx, "label"] # 標簽sample = {"text": text, "label": label} # 數據樣本return sample

• 步驟三：定義主函數

if __name__ == "__main__":sentiment_dataset = SentimentDataset("sentiment.test.data")print(sentiment_dataset.__getitem__(0)) # 查看第一條數據

• 步驟四：使用DataLoader批量讀取數據

count = 0 for idx, batch_samples in enumerate(sentiment_dataloader):text_batchs, text_labels = batch_samples["text"], batch_samples["label"]print(idx,text_batchs)count += 1if count == 3:break

總結

以上是生活随笔為你收集整理的十九、Pytorch中的数据加载的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。