maskrcnn_resnet50_fpn

torchvision.models.detection.maskrcnn_resnet50_fpn(*, weights: Optional[MaskRCNN_ResNet50_FPN_Weights] = None, progress: bool = True, num_classes: Optional[int] = None, weights_backbone: Optional[ResNet50_Weights] = ResNet50_Weights.IMAGENET1K_V1, trainable_backbone_layers: Optional[int] = None, **kwargs: Any) → MaskRCNN

使用 ResNet-50-FPN 作為骨幹網路的 Mask R-CNN 模型，出自 Mask R-CNN 論文。

警告

偵測模組目前處於 Beta 階段，不保證向後相容性。

模型的輸入預期為 tensors 的列表，每個 tensor 的形狀為 [C, H, W]，對應每張圖片，且數值範圍應在 0-1 之間。不同的圖片可以有不同的尺寸。

模型的行為會根據其處於訓練模式還是評估模式而改變。

在訓練期間，模型預期輸入 tensors 和目標（dictionary 列表），包含：

• boxes (FloatTensor[N, 4]): 以 [x1, y1, x2, y2] 格式表示的 ground-truth boxes，其中 0 <= x1 < x2 <= W 且 0 <= y1 < y2 <= H。

• labels (Int64Tensor[N]): 每個 ground-truth box 的類別標籤

• masks (UInt8Tensor[N, H, W]): 每個實例的分割二元遮罩

在訓練期間，模型會回傳一個 Dict[Tensor]，包含 RPN 和 R-CNN 的分類和迴歸損失，以及遮罩損失。

在推論期間，模型只需要輸入 tensors，並回傳後處理過的預測結果，格式為 List[Dict[Tensor]]，每張輸入圖片對應一個 Dict。 Dict 的欄位如下所示，其中 N 為偵測到的實例數量：

• boxes (FloatTensor[N, 4]): 以 [x1, y1, x2, y2] 格式表示的預測 boxes，其中 0 <= x1 < x2 <= W 且 0 <= y1 < y2 <= H。

• labels (Int64Tensor[N]): 每個實例的預測標籤

• scores (Tensor[N]): 每個實例的分數

• masks (UInt8Tensor[N, 1, H, W]): 每個實例的預測遮罩，數值範圍在 0-1 之間。為了獲得最終的分割遮罩，可以對 soft masks 進行閾值處理，通常使用 0.5 的值 (mask >= 0.5)

有關輸出以及如何繪製遮罩的更多詳細資訊，您可以參考 Instance segmentation models。

Mask R-CNN 可以匯出到 ONNX，用於固定批次大小且輸入圖片尺寸固定的情況。

範例

>>> model = torchvision.models.detection.maskrcnn_resnet50_fpn(weights=MaskRCNN_ResNet50_FPN_Weights.DEFAULT)
>>> model.eval()
>>> x = [torch.rand(3, 300, 400), torch.rand(3, 500, 400)]
>>> predictions = model(x)
>>>
>>> # optionally, if you want to export the model to ONNX:
>>> torch.onnx.export(model, x, "mask_rcnn.onnx", opset_version = 11)

參數:

• weights (MaskRCNN_ResNet50_FPN_Weights, optional) – 要使用的預訓練權重。請參閱下方的 MaskRCNN_ResNet50_FPN_Weights 以取得更多詳細資訊和可能的值。預設情況下，不使用任何預訓練權重。

• progress (bool, optional) – 如果為 True，則在 stderr 上顯示下載進度條。預設為 True。

• num_classes (int, optional) – 模型的輸出類別數量（包括背景）

• weights_backbone (ResNet50_Weights, optional) – 主幹網路的預訓練權重。

• trainable_backbone_layers (int, optional) – 從最後一個 block 開始，可訓練（非凍結）的層數。有效值介於 0 和 5 之間，5 表示所有主幹網路層都是可訓練的。如果傳遞 None (預設值)，則此值設定為 3。

• **kwargs – 傳遞給 torchvision.models.detection.mask_rcnn.MaskRCNN 基類的參數。有關此類的更多詳細資訊，請參閱 原始碼。

class torchvision.models.detection.MaskRCNN_ResNet50_FPN_Weights(value)

上述模型建構器接受以下值作為 weights 參數。MaskRCNN_ResNet50_FPN_Weights.DEFAULT 等同於 MaskRCNN_ResNet50_FPN_Weights.COCO_V1。您也可以使用字串，例如 weights='DEFAULT' 或 weights='COCO_V1'。

MaskRCNN_ResNet50_FPN_Weights.COCO_V1:

這些權重是通過遵循與論文中類似的訓練方法產生的。也可以使用 MaskRCNN_ResNet50_FPN_Weights.DEFAULT。

box_map (在 COCO-val2017 上)	37.9
mask_map (在 COCO-val2017 上)	34.6
categories	__background__, person, bicycle, … (省略 88 個)
min_size	height=1, width=1
num_params	44401393
recipe	link
GFLOPS	134.38
File size	169.8 MB

推論轉換可在 MaskRCNN_ResNet50_FPN_Weights.COCO_V1.transforms 中取得，並執行以下預處理操作：接受 PIL.Image、批次化 (B, C, H, W) 和單一 (C, H, W) 圖片 torch.Tensor 物件。圖片會縮放到 [0.0, 1.0]。

使用 maskrcnn_resnet50_fpn 的範例

視覺化工具

視覺化工具