注意
點擊這裡下載完整的範例程式碼
學習基礎知識 || 快速入門 || 張量 || 資料集 & 資料載入器 || 轉換 || 構建模型 || Autograd || 優化 || 保存 & 載入模型
資料集 & 資料載入器¶
建立於: 2021 年 2 月 9 日 | 最後更新: 2024 年 1 月 16 日 | 最後驗證: 2024 年 11 月 5 日
處理資料樣本的程式碼可能會變得混亂且難以維護；理想情況下，我們希望資料集程式碼與模型訓練程式碼分離，以提高可讀性和模組化。 PyTorch 提供了兩個資料原始物件：torch.utils.data.DataLoader 和 torch.utils.data.Dataset，允許您使用預載入的資料集以及您自己的資料。Dataset 儲存樣本及其對應的標籤，而 DataLoader 將可迭代物件封裝在 Dataset 周圍，以便輕鬆存取樣本。
PyTorch 領域函式庫提供了許多預載入的資料集 (例如 FashionMNIST)，它們繼承了 torch.utils.data.Dataset 並實現了特定於特定資料的函數。 它們可用於原型設計和基準測試您的模型。 您可以在這裡找到它們：圖像資料集、文字資料集和 音訊資料集
載入資料集¶
以下是如何從 TorchVision 載入 Fashion-MNIST 資料集的範例。 Fashion-MNIST 是一個 Zalando 文章圖像的資料集，包含 60,000 個訓練範例和 10,000 個測試範例。 每個範例包含一個 28×28 灰度圖像和一個來自 10 個類別之一的關聯標籤。
- 我們使用以下參數載入 FashionMNIST 資料集
root是儲存訓練/測試資料的路徑，train指定訓練或測試資料集，download=True如果在root中不可用，則從網路下載資料。transform和target_transform指定特徵和標籤轉換
import torch
from torch.utils.data import Dataset
from torchvision import datasets
from torchvision.transforms import ToTensor
import matplotlib.pyplot as plt
training_data = datasets.FashionMNIST(
root="data",
train=True,
download=True,
transform=ToTensor()
)
test_data = datasets.FashionMNIST(
root="data",
train=False,
download=True,
transform=ToTensor()
)
0%| | 0.00/26.4M [00:00<?, ?B/s]
0%| | 65.5k/26.4M [00:00<01:12, 365kB/s]
1%| | 229k/26.4M [00:00<00:37, 691kB/s]
4%|3 | 950k/26.4M [00:00<00:11, 2.21MB/s]
15%|#4 | 3.83M/26.4M [00:00<00:02, 7.67MB/s]
37%|###7 | 9.86M/26.4M [00:00<00:00, 17.0MB/s]
60%|###### | 15.9M/26.4M [00:00<00:00, 26.7MB/s]
72%|#######2 | 19.1M/26.4M [00:01<00:00, 23.8MB/s]
94%|#########3| 24.8M/26.4M [00:01<00:00, 31.4MB/s]
100%|##########| 26.4M/26.4M [00:01<00:00, 19.5MB/s]
0%| | 0.00/29.5k [00:00<?, ?B/s]
100%|##########| 29.5k/29.5k [00:00<00:00, 324kB/s]
0%| | 0.00/4.42M [00:00<?, ?B/s]
1%|1 | 65.5k/4.42M [00:00<00:12, 361kB/s]
5%|5 | 229k/4.42M [00:00<00:06, 680kB/s]
21%|## | 918k/4.42M [00:00<00:01, 2.59MB/s]
44%|####3 | 1.93M/4.42M [00:00<00:00, 4.08MB/s]
100%|##########| 4.42M/4.42M [00:00<00:00, 6.06MB/s]
0%| | 0.00/5.15k [00:00<?, ?B/s]
100%|##########| 5.15k/5.15k [00:00<00:00, 44.3MB/s]
迭代和可視化資料集¶
我們可以像列表一樣手動索引 Datasets：training_data[index]。 我們使用 matplotlib 來可視化我們訓練資料中的一些樣本。
labels_map = {
0: "T-Shirt",
1: "Trouser",
2: "Pullover",
3: "Dress",
4: "Coat",
5: "Sandal",
6: "Shirt",
7: "Sneaker",
8: "Bag",
9: "Ankle Boot",
}
figure = plt.figure(figsize=(8, 8))
cols, rows = 3, 3
for i in range(1, cols * rows + 1):
sample_idx = torch.randint(len(training_data), size=(1,)).item()
img, label = training_data[sample_idx]
figure.add_subplot(rows, cols, i)
plt.title(labels_map[label])
plt.axis("off")
plt.imshow(img.squeeze(), cmap="gray")
plt.show()
為您的文件建立自定義資料集¶
自定義 Dataset 類別必須實現三個函數：__init__、__len__ 和 __getitem__。 看一下這個實現； FashionMNIST 圖像儲存在目錄 img_dir 中，它們的標籤單獨儲存在 CSV 檔案 annotations_file 中。
在接下來的章節中，我們將分解每個函數中發生的事情。
import os
import pandas as pd
from torchvision.io import read_image
class CustomImageDataset(Dataset):
def __init__(self, annotations_file, img_dir, transform=None, target_transform=None):
self.img_labels = pd.read_csv(annotations_file)
self.img_dir = img_dir
self.transform = transform
self.target_transform = target_transform
def __len__(self):
return len(self.img_labels)
def __getitem__(self, idx):
img_path = os.path.join(self.img_dir, self.img_labels.iloc[idx, 0])
image = read_image(img_path)
label = self.img_labels.iloc[idx, 1]
if self.transform:
image = self.transform(image)
if self.target_transform:
label = self.target_transform(label)
return image, label
__init__¶
__init__ 函數在實例化 Dataset 物件時執行一次。 我們初始化包含圖像的目錄、註釋檔案以及兩個轉換（在下一節中更詳細地介紹）。
labels.csv 檔案如下所示
tshirt1.jpg, 0
tshirt2.jpg, 0
......
ankleboot999.jpg, 9
def __init__(self, annotations_file, img_dir, transform=None, target_transform=None):
self.img_labels = pd.read_csv(annotations_file)
self.img_dir = img_dir
self.transform = transform
self.target_transform = target_transform
__getitem__¶
__getitem__ 函數會載入並回傳資料集中指定索引 idx 的樣本。根據索引，它會識別影像在磁碟上的位置，使用 read_image 將其轉換為張量，從 self.img_labels 中的 csv 資料檢索相應的標籤，對它們呼叫轉換函數 (如果適用的話)，並以元組形式回傳張量影像和相應的標籤。
def __getitem__(self, idx):
img_path = os.path.join(self.img_dir, self.img_labels.iloc[idx, 0])
image = read_image(img_path)
label = self.img_labels.iloc[idx, 1]
if self.transform:
image = self.transform(image)
if self.target_transform:
label = self.target_transform(label)
return image, label
使用 DataLoaders 準備用於訓練的資料¶
Dataset 一次檢索我們資料集的特徵和標籤的一個樣本。在訓練模型時，我們通常希望以「小批量」傳遞樣本，在每個 epoch 重新調整資料以減少模型過擬合，並使用 Python 的 multiprocessing 來加速資料檢索。
DataLoader 是一個可迭代物件，它以簡單的 API 為我們抽象了這種複雜性。
from torch.utils.data import DataLoader
train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True)
test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)
迭代 DataLoader¶
我們已將資料集載入到 DataLoader 中，並且可以根據需要迭代資料集。下面的每次迭代都會回傳一批 train_features 和 train_labels (分別包含 batch_size=64 個特徵和標籤)。因為我們指定了 shuffle=True，所以在我們迭代完所有批次後，資料會被打亂 (若要對資料載入順序進行更細緻的控制，請查看 Samplers)。
# Display image and label.
train_features, train_labels = next(iter(train_dataloader))
print(f"Feature batch shape: {train_features.size()}")
print(f"Labels batch shape: {train_labels.size()}")
img = train_features[0].squeeze()
label = train_labels[0]
plt.imshow(img, cmap="gray")
plt.show()
print(f"Label: {label}")
Feature batch shape: torch.Size([64, 1, 28, 28])
Labels batch shape: torch.Size([64])
Label: 5
