mvit_v2_s

torchvision.models.video.mvit_v2_s(*, weights: Optional[MViT_V2_S_Weights] = None, progress: bool = True, **kwargs: Any) → MViT

從 Multiscale Vision Transformers 和 MViTv2: Improved Multiscale Vision Transformers for Classification and Detection 構建一個小型 MViTV2 架構。

警告

影片模組處於 Beta 階段，不保證向後相容性。

參數:

• weights (MViT_V2_S_Weights, optional) – 要使用的預先訓練權重。 有關更多詳細資訊和可能的值，請參閱下面的 MViT_V2_S_Weights。 預設情況下，不使用預先訓練的權重。

• progress (bool, optional) – 如果為 True，則在 stderr 顯示下載的進度條。 預設值為 True。

• **kwargs – 傳遞給 torchvision.models.video.MViT 基底類別的參數。 有關此類別的更多詳細資訊，請參閱 原始碼。

class torchvision.models.video.MViT_V2_S_Weights(value)

上面的模型建構器接受以下值作為 weights 參數。 MViT_V2_S_Weights.DEFAULT 等同於 MViT_V2_S_Weights.KINETICS400_V1。您也可以使用字串，例如 weights='DEFAULT' 或 weights='KINETICS400_V1'。

MViT_V2_S_Weights.KINETICS400_V1:

這些權重是從論文移植過來的。精準度是在影片層級上估算的，參數為 frame_rate=7.5，clips_per_video=5 和 clip_len=16。也可以使用 MViT_V2_S_Weights.DEFAULT。

acc@1 (在 Kinetics-400 上)	80.757
acc@5 (在 Kinetics-400 上)	94.665
min_size	height=224, width=224
min_temporal_size	16
categories	abseiling, air drumming, answering questions, … (省略 397 個)
recipe	link
num_params	34537744
GFLOPS	64.22
File size	131.9 MB

推論轉換可在 MViT_V2_S_Weights.KINETICS400_V1.transforms 中找到，並執行以下預處理操作：接受批次的 (B, T, C, H, W) 和單個 (T, C, H, W) 影片影格 torch.Tensor 物件。影格會使用 interpolation=InterpolationMode.BILINEAR 調整大小至 resize_size=[256]，然後進行 crop_size=[224, 224] 的中央裁剪。最後，這些值首先重新縮放至 [0.0, 1.0]，然後使用 mean=[0.45, 0.45, 0.45] 和 std=[0.225, 0.225, 0.225] 進行正規化。最後，輸出維度會置換為 (..., C, T, H, W) 張量。